Pencarian di GitHub Menggunakan GitHub API
GitHub adalah layanan hosting berbasis web untuk kontrol versi menggunakan Git. GitHub banyak digunakan untuk menyimpan dan berbagi kode sumber komputer. Layanan ini menyediakan semua fungsi kontrol versi terdistribusi dan manajemen kode sumber dari Git, serta menambahkan fitur-fitur tambahan.
GitHub menyimpan lebih dari 3 juta repositori dengan lebih dari 1,7 juta pengembang yang menggunakannya setiap hari. Dengan begitu banyaknya data, pada awalnya mungkin terasa sulit untuk menemukan informasi yang diperlukan atau melakukan tugas-tugas berulang, dan di sinilah GitHub API menjadi berguna.
Dalam tutorial ini, Anda akan belajar bagaimana menggunakan GitHub API untuk mencari repositori dan file yang mencocokkan kata kunci tertentu, serta mengambil URL-nya menggunakan Python. Anda juga akan belajar cara mengunduh file atau folder tertentu dari sebuah repositori di GitHub.
- Persiapan Proyek
- Token Akses Personal
- Persiapan Klien
- Uji GitHub API
- Pencarian Repositori di GitHub
- Menangkap Kata Kunci
- Pencarian Repositori
- Pencarian File di GitHub
- Menangkap Kata Kunci
- Pencarian File
- Mengunduh File
- Mengunduh Folder di GitHub
- Menangkap URL
- Mengunduh Folder
- Kode Proyek Lengkap (Pencarian Repositori)
- Kode Proyek Lengkap (Pencarian File)
- Kode Proyek Lengkap (Mengunduh Sebuah Folder)
Persiapan Proyek
Token Akses Personal
Untuk mengakses GitHub API, Anda akan memerlukan token akses untuk memberi otorisasi pada panggilan API. Silakan ikuti langkah-langkah berikut untuk mendapatkan token akses dari halaman pengaturan token GitHub. Jika Anda belum memiliki akun GitHub, Anda perlu membuat akun terlebih dahulu.
- Buka halaman GitHub dan masuk ke akun Anda.
- Klik pada foto profil Anda di pojok kanan atas halaman.
- Pilih “Settings” dari menu dropdown yang muncul.
- Di halaman pengaturan, pilih “Developer settings” di sidebar sebelah kiri.
- Pilih “Personal access tokens”.
- Klik tombol “Generate new token”.
- Berikan deskripsi yang relevan untuk token Anda.
- Pilih cakupan (scopes) yang sesuai dengan kebutuhan Anda. Misalnya, jika Anda hanya melakukan pencarian, Anda mungkin perlu memilih cakupan “public_repo” atau “repo” tergantung pada apakah repositori yang ingin Anda cari adalah publik atau pribadi.
- Gulir ke bawah dan klik tombol “Generate token”.
- Salin token akses yang dihasilkan. Pastikan untuk menyimpannya dengan aman dan tidak membagikannya ke publik.
Token akses personal ini akan digunakan dalam kode Python Anda untuk mengotentikasi permintaan API ke GitHub. Pastikan untuk menjaga kerahasiaan token Anda dan tidak mengungkapkannya secara publik atau menyimpannya dalam repositori yang dapat diakses oleh orang lain.
Setelah token Anda dibuat, salin dan simpan di tempat yang aman untuk digunakan nanti. Perhatikan bahwa setelah Anda meninggalkan halaman ini, Anda tidak akan melihat token tersebut lagi.
Penting untuk menyimpan token akses dengan aman dan hanya menggunakan token tersebut dalam proyek Anda sendiri. Jangan pernah membagikan token akses kepada orang lain atau menyimpannya di tempat yang dapat diakses oleh pihak lain, karena ini dapat mengakibatkan penyalahgunaan atau akses yang tidak sah ke akun GitHub Anda.
Persiapan Klien
Satu-satunya paket yang perlu Anda instal untuk Python adalah PyGithub. Jalankan perintah berikut:
Catatan: PyGithub adalah pustaka pihak ketiga. GitHub hanya menyediakan pustaka klien resmi untuk Ruby, Node.js, dan .NET.
Kemudian, Anda perlu mengimpor pustaka tersebut.
from github import Github
Uji GitHub API
Dengan token akses yang Anda peroleh sebelumnya, Anda perlu menguji koneksi ke API. Pertama-tama, buat konstanta untuk menyimpan token Anda:
ACCESS_TOKEN = 'masukkan token Anda di sini'
Selanjutnya, inisialisasi klien GitHub.
Anda dapat mencoba mendapatkan daftar repositori Anda untuk menguji koneksi.
print(g.get_user().get_repos())
Hasilnya seharusnya menjadi sesuatu seperti berikut.
<github.PaginatedList.PaginatedList object at ......>
Bagus. Sekarang Anda sudah siap.
Tutorial ini mencakup topik-topik berikut:
- Pencarian repositori GitHub menggunakan GitHub API
- Pencarian file *.po menggunakan GitHub API
- Mengunduh folder dari GitHub menggunakan svn
Sebelum melanjutkan, buat salinan skrip dengan token akses sehingga Anda memiliki dua skrip terpisah untuk setiap bagian.
Mencari Repositori GitHub (Mengambil Kata Kunci)
Hal pertama yang perlu Anda lakukan adalah mengambil kata kunci. Cukup tambahkan potongan kode berikut di bagian akhir skrip Anda:
if __name__ == '__main__':
keywords = input('Enter keyword(s)[e.g python, flask, postgres]: ')
Anda dapat menambahkan kode ini di akhir skrip Anda untuk meminta pengguna memasukkan kata kunci. Pesan input memberikan contoh format untuk memasukkan kata kunci. Kemudian, kode tersebut membagi input menjadi sebuah daftar, menghapus spasi putih di sekitar kata kunci. Terakhir, kode tersebut memanggil fungsi search_github dengan kata kunci yang diperoleh.
Perhatikan saran yang ada di antara tanda kurung siku. Selalu baik untuk memberikan panduan kepada pengguna tentang jenis input yang Anda butuhkan agar Anda tidak perlu banyak waktu untuk memproses input yang diberikan.
Setelah pengguna memberikan input, Anda perlu membaginya menjadi sebuah daftar:
keywords = [keyword.strip() for keyword in keywords.split(',')]
Di sini, Anda membagi kata kunci yang diberikan dan menghapus spasi yang tidak perlu. Pemahaman daftar (list comprehension : https://docs.python.org/3/tutorial/datastructures.html#list-comprehensions) Python memungkinkan Anda melakukan semua ini dalam satu baris.
Pencarian Repositori
Sekarang Anda perlu menambahkan sebuah fungsi yang akan menerima kata kunci dan mencari repositori di GitHub yang cocok.
def search_github(keywords):
query = '+'.join(keywords) + '+in:readme+in:description'
result = g.search_repositories(query, 'stars', 'desc')
print(f'Found {result.totalCount} repo(s)')
for repo in result:
print(repo.clone_url)
Ada beberapa hal yang terjadi dalam fungsi ini. Pertama, Anda mengambil kata kunci dan membentuk sebuah query pencarian GitHub. Query pencarian GitHub memiliki format berikut.
SEARCH_KEYWORD_1+SEARCH_KEYWORD_N+QUALIFIER_1+QUALIFIER_N
Dalam fungsi tersebut, ‘+in:readme+in:description’ adalah qualifier. Setelah query terbentuk, Anda mengirimkan query tersebut ke GitHub dengan mengurutkan hasil berdasarkan jumlah bintang secara menurun. Setelah Anda mendapatkan hasilnya, Anda mencetak jumlah total repositori yang ditemukan dan kemudian mencetak URL kloning untuk masing-masing repositori. Pada bagian akhir skrip Anda, tambahkan pemanggilan fungsi dengan parameter kata kunci dan jalankan skrip.
keywords = [keyword.strip() for keyword in keywords.split(',')]
search_github(keywords)
Ketika Anda mengirimkan python, django, postgres sebagai input ke dalam skrip, Anda akan
mendapatkan output berikut:
Found 10 repo(s)
https://github.com/django/django.git
https://github.com/pallets/flask.git
https://github.com/psycopg/psycopg2.git
https://github.com/psycopg/psycopg2-binary.git
https://github.com/tornadoweb/tornado.git
https://github.com/python-pillow/Pillow.git
https://github.com/python/mypy.git
https://github.com/encode/httpx.git
https://github.com/coleifer/peewee.git
https://github.com/encode/orm.git
Ini adalah contoh output yang dihasilkan oleh skrip jika Anda menggunakan python, django, postgres sebagai input. Anda akan melihat jumlah total repositori yang ditemukan, diikuti oleh URL kloning untuk setiap repositori.
Untuk membuat output lebih dapat digunakan, Anda perlu menambahkan jumlah bintang (stars) di samping setiap URL. Berikut adalah modifikasi yang perlu dilakukan:
for repo in result:
print(f'{repo.clone_url}, {repo.stargazers_count} stars')
Output ini akan mencantumkan URL setiap repositori diikuti oleh jumlah bintang (stars) yang diberikan.
Found 54 repo(s)
https://github.com/citusdata/django-multitenant.git, 181 stars
https://github.com/dheerajchand/ubuntu-django-nginx-ansible.git, 15 stars
https://github.com/chenjr0719/Docker-Django-Nginx-Postgres.git, 6 stars
https://github.com/nomadjourney/python-box.git, 4 stars
https://github.com/laitassou/etherkar.git, 2 stars
https://github.com/the-vampiire/medi_assessment.git, 2 stars
https://github.com/mapes911/django-vagrant-box.git, 1 stars
https://github.com/sathyaNarayanC/registration-form.git, 1 stars
https://github.com/dxvxd/vagrant-py3-django-pgSQL.git, 1 stars
https://github.com/joshimiloni/AAM-Book-Exchange.git, 1 stars
https://github.com/desarroll0/lostItems.git, 1 stars
.....
Pencarian Repositori di GitHub
Dalam bagian ini, Anda akan mencari berkas *.po (berkas terjemahan) yang mencakup nama bahasa tertentu.
Mengambil Kata Kunci
Hal pertama yang perlu Anda lakukan adalah mengambil kata kunci. Cukup tambahkan potongan kode berikut di bagian bawah skrip Anda:
if __name__ == '__main__':
keyword = input('Enter keyword[e.g french, german etc]: ')
Kode ini akan meminta pengguna untuk memasukkan kata kunci untuk mencari berkas di GitHub.
Perhatikan saran-saran di antara tanda kurung siku. Selalu baik untuk memberikan panduan kepada pengguna tentang jenis input yang Anda perlukan sehingga Anda tidak menghabiskan banyak waktu untuk mengurai input yang diberikan.
Pencarian File
Sekarang Anda perlu menambahkan sebuah fungsi yang akan menerima kata kunci dan mencari file-file di GitHub yang mengandungnya. Berikut adalah kode untuk fungsi tersebut:
def search_github(keyword):
rate_limit = g.get_rate_limit()
rate = rate_limit.search
if rate.remaining == 0:
print(f'You have 0/{rate.limit} API calls remaining. Reset time: {rate.reset}')
return
else:
print(f'You have {rate.remaining}/{rate.limit} API calls remaining')
query = f'"{keyword} english" in:file extension:po'
result = g.search_code(query, order='desc')
max_size = 100
print(f'Found {result.totalCount} file(s)')
if result.totalCount > max_size:
result = result[:max_size]
for file in result:
print(f'{file.download_url}')
Ada beberapa hal yang terjadi dalam fungsi ini. Pertama, Anda memeriksa batas tingkat API saat ini di GitHub. Untuk mencegah pemblokiran panggilan API di masa depan, selalu baik untuk memeriksa status batas Anda sebelum melakukan panggilan apa pun. Jika tingkat Anda memenuhi syarat, Anda mengambil kata kunci dan membentuk kueri pencarian GitHub.
Dalam fungsi Anda, ‘in:file extension:po’ adalah kualifikasi. Anda hanya tertarik pada file *.po yang mengandung kata kunci Anda. Perhatikan juga variabel max_size. Ini digunakan untuk membatasi hasil yang dikembalikan hingga 100 pertama. Setelah kueri terbentuk, Anda mengirimkan kueri tersebut ke GitHub dengan mengurutkan hasil secara menurun. Ketika Anda mendapatkan hasilnya, Anda mencetak jumlah total file yang ditemukan dan kemudian mencetak URL unduhan untuk masing-masing file. Di bagian bawah skrip Anda, tambahkan pemanggilan fungsi dengan kata kunci sebagai parameter dan jalankan skripnya.
....
search_github(keywords)
Ketika Anda mengirimkan “dutch” sebagai masukan ke skrip, Anda seharusnya mendapatkan keluaran berikut.
You have 28/30 API calls remaining
Found 196 file(s)
https://raw.githubusercontent.com/iegor/kdesktop/d5dccbe01eeb7c0e82ac5647cf2bc2d4c7beda0b/kde-i18n/ar/messages/kdeedu/klettres.po
https://raw.githubusercontent.com/iegor/kdesktop/d5dccbe01eeb7c0e82ac5647cf2bc2d4c7beda0b/kde-i18n/en_GB/messages/kdeedu/klettres.po
https://raw.githubusercontent.com/iegor/kdei18n/d5c80ababe3d6a39dcde39605080ddf07856215e/en_GB/messages/kdeedu/klettres.po
https://raw.githubusercontent.com/iegor/kdei18n/d5c80ababe3d6a39dcde39605080ddf07856215e/ar/messages/kdeedu/klettres.po
https://raw.githubusercontent.com/iegor/kdesktop/d5dccbe01eeb7c0e82ac5647cf2bc2d4c7beda0b/kde-i18n/af/messages/kdeedu/klettres.po
https://raw.githubusercontent.com/iegor/kdesktop/d5dccbe01eeb7c0e82ac5647cf2bc2d4c7beda0b/kde-i18n/az/messages/kdeedu/klettres.po
https://raw.githubusercontent.com/iegor/kdesktop/d5dccbe01eeb7c0e82ac5647cf2bc2d4c7beda0b/kde-i18n/br/messages/kdeedu/klettres.po
https://raw.githubusercontent.com/iegor/kdesktop/d5dccbe01eeb7c0e82ac5647cf2bc2d4c7beda0b/kde-i18n/bs/messages/kdeedu/klettres.po
https://raw.githubusercontent.com/iegor/kdesktop/d5dccbe01eeb7c0e82ac5647cf2bc2d4c7beda0b/kde-i18n/cy/messages/kdeedu/klettres.po
..........
Mengunduh File
Untuk mengunduh file yang dihasilkan dari skrip sebelumnya, Anda dapat menggunakan pustaka Requests.
import requests
url = "https://raw.githubusercontent.com/iegor/kdesktop/d5dccbe01eeb7c0e82ac5647cf2bc2d4c7beda0b/kde-i18n/ar/messages/kdeedu/klettres.po"
r = requests.get(url)
open("file.po", "wb").write(r.content)
Setelah mengimpor requests, baris pertama adalah URL file yang sederhana. Baris kedua mengirim permintaan untuk terhubung ke URL tersebut. Terakhir, baris terakhir menulis konten file ke file baru di mesin lokal.
Anda dapat menambahkan bagian kode ini ke dalam loop for file in result yang telah Anda buat. Dalam hal ini, Anda perlu membedakan nama file, mungkin dengan nomor indeksnya dalam loop atau dengan menggunakan filename = url[url.rfind(“/”)+1:] untuk mengekstrak nama file dari URL.
Mengunduh Folder di GitHub
Pada bagian ketiga tutorial ini, Anda akan belajar cara mengunduh satu folder/direktori dari repositori GitHub. Harap dicatat bahwa bagian ini tidak memerlukan penggunaan API GitHub, jadi cukup buat skrip Python kosong.
Menangkap URL
Hal pertama yang perlu Anda lakukan adalah menangkap URL dari folder yang ingin Anda unduh. Pada skrip kedua yang telah Anda buat sebelumnya, tambahkan yang berikut.
url = input('Enter folder url: ')
Ketika berurusan dengan URL, selalu baik untuk memvalidasi mereka sebelum melakukan apapun dengannya. Ada beberapa metode untuk melakukannya. Untuk tutorial ini, Anda akan menggunakan sebuah perpustakaan yang berfokus pada validasi. Jalankan:
Setelah Anda menginstal paketnya, tambahkan logika validasi di bagian bawah skrip.
import validators
....
if not validators.url(url):
print('Invalid url')
else:
pass
Sebelum menambahkan fungsi untuk mengunduh folder, Anda perlu menambahkan satu dependensi lagi.
SVN (Subversion) adalah sistem kontrol versi terpusat, seperti git. Git tidak memiliki perintah bawaan untuk mengunduh sub-direktori dari repositori. Satu-satunya cara untuk mendapatkan semua file dari sub-direktori adalah dengan mengunduh file-file tersebut secara individu. Hal ini bisa sangat melelahkan, dan itulah alasan mengapa kita menggunakan svn.
Catatan: Agar paket SVN Python dapat berfungsi, pastikan svn terpasang di sistem Anda dan dapat dijalankan melalui Terminal/Command Prompt.
Mengunduh Folder
Setelah Anda memverifikasi bahwa svn terpasang, tambahkan fungsi untuk mengunduh folder. Berikut adalah contoh kode yang dapat Anda gunakan:
from svn.remote import RemoteClient
....
def download_folder(url):
if 'tree/master' in url:
url = url.replace('tree/master', 'trunk')
r = RemoteClient(url)
r.export('output')
Untuk membuat svn berfungsi dengan URL yang diberikan, Anda perlu mengganti “tree/master” dengan “trunk”. Git dan svn memiliki banyak fitur yang sama, tetapi juga memiliki banyak perbedaan, dan pola URL adalah salah satunya.
Terakhir, tambahkan fungsi berikut di bagian bawah skrip:
if not validators.url(url):
print('Invalid url')
else:
download_folder(url)
Sekarang, coba jalankan skrip tersebut dengan menyediakan URL https://github.com/pallets/flask/tree/master/examples. Sebuah folder bernama “output” akan dibuat dengan konten dari folder yang ditentukan dalam URL tersebut.
Kode Proyek Lengkap (Pencarian Repositori)
from github import Github
ACCESS_TOKEN = 'put your token here'
g = Github(ACCESS_TOKEN)
def search_github(keywords):
query = '+'.join(keywords) + '+in:readme+in:description'
result = g.search_repositories(query, 'stars', 'desc')
print(f'Found {result.totalCount} repo(s)')
for repo in result:
print(f'{repo.clone_url}, {repo.stargazers_count} stars')
if __name__ == '__main__':
keywords = input('Enter keyword(s)[e.g python, flask, postgres]: ')
keywords = [keyword.strip() for keyword in keywords.split(',')]
search_github(keywords)
Kode Proyek Lengkap (Pencarian File)
from github import Github
ACCESS_TOKEN = 'put your token hear'
g = Github(ACCESS_TOKEN)
def search_github(keyword):
rate_limit = g.get_rate_limit()
rate = rate_limit.search
if rate.remaining == 0:
print(f'You have 0/{rate.limit} API calls remaining. Reset time: {rate.reset}')
return
else:
print(f'You have {rate.remaining}/{rate.limit} API calls remaining')
query = f'"{keyword} english" in:file extension:po'
result = g.search_code(query, order='desc')
max_size = 100
print(f'Found {result.totalCount} file(s)')
if result.totalCount > max_size:
result = result[:max_size]
for file in result:
print(f'{file.download_url}')
if __name__ == '__main__':
keyword = input('Enter keyword[e.g french, german etc]: ')
search_github(keyword)
Kode Proyek Lengkap (Mengunduh Sebuah Folder)
import validators
from svn.remote import RemoteClient
def download_folder(url):
if 'tree/master' in url:
url = url.replace('tree/master', 'trunk')
r = RemoteClient(url)
r.export('output')
if __name__ == '__main__':
url = input('Enter folder url: ')
if not validators.url(url):
print('Invalid url')
else:
download_folder(url)
Pencarian Dengan Pagination (Bonus)
import requests
import time
headers = {
'Authorization': 'token <YOUR_TOKEN>'
}
results = []
min_max = (1,31)
for i in range(min_max[0], min_max[1]):
url = "https://api.github.com/search/code?q='pytorch'+in:file + language:python&per_page=10&page="+str(i)
backoff = 2 # backoff in seconds
while backoff < 1024:
time.sleep(backoff)
try:
response = requests.request("GET", url, headers=headers)
response.raise_for_status() # throw an exception for HTTP 400 and 500s
data = response.json()
results.append(data['items'])
print(f'Got {len(data["items"])} results for page {i}.')
url = response.links['next']['url']
# Save results to a text file
with open('search_results.txt', 'w') as file:
for item in results:
print(item[0]['html_url'])
file.write(str(item[0]['html_url']) + '\n')
break
except requests.exceptions.RequestException as e:
print('ERROR: Failed to make request: ', e)
backoff **= 2
if backoff >= 1024:
print('ERROR: Backoff limit reached.')
break
Refferensi :
- https://python.gotrained.com/search-github-api/
- https://stackoverflow.com/questions/74869773/how-do-i-get-all-1000-results-using-the-github-search-api
