Di tengah perkembangan pesat teknologi kecerdasan buatan, kebutuhan untuk menjalankan AI secara on-device kini menjadi penting—terutama dalam ranah keamanan siber dan penetration testing (pentest). Artikel ini membagikan pengalaman dan panduan membangun Small Language Model (SLM) lokal untuk membantu kegiatan pentest menggunakan laptop dengan GPU RTX 3060, RAM 32GB, dan OS Ubuntu.
Latar Belakang
Penetration testing adalah kegiatan yang membutuhkan kecepatan, fleksibilitas, dan ketelitian. Namun sering kali, analis keamanan harus berpindah antara terminal, dokumentasi, dan tool manual saat:
- Menganalisis output
nmap - Menulis eksploitasi
- Membuat payload XSS atau SQLi
- Menyusun laporan hasil pentest
Di sinilah SLM (Small Language Model) berperan. Dibandingkan LLM (Large Language Model) seperti GPT-4 yang membutuhkan cloud dan GPU besar, SLM cukup ringan untuk dijalankan secara lokal, cepat, dan tetap cerdas.
Spesifikasi Laptop
Untuk proyek ini, saya menggunakan:
- GPU: NVIDIA GeForce RTX 3060 (12GB VRAM, 130W)
- RAM: 32GB DDR4
- Prosesor: AMD Ryzen 7 5800H
- Penyimpanan: SSD NVMe 1TB
- OS: Ubuntu 22.04 LTS
Laptop ini cukup kuat untuk menjalankan model SLM hingga 7B parameter dengan quantization (INT4/INT5), serta multitasking seperti VM, Burp Suite, dan ZAP.
Memilih Model SLM untuk Pentest
Beberapa model yang saya uji dan berhasil dijalankan:
| Model | Ukuran | Fokus | Performa di RTX 3060 |
|---|---|---|---|
| Phi-2 | 1.3B | General AI, ringan | Sangat cepat |
| TinyLlama | 1.1B | Ringan & cepat | Stabil |
| Gemma 2B (Google) | 2B | Lebih cerdas | Sedikit lebih berat |
| Mistral 7B (quantized) | 7B | Powerful | Perlu tuning RAM/VRAM |
| StarCoder (1B) | Pemrograman, script | Ideal untuk analisis exploit | Lancar |
Untuk pentest, saya pribadi memilih Phi-2 karena ringkas, cepat, dan responsif dalam menjawab pertanyaan teknis terkait payload dan log keamanan.
Instalasi di Ubuntu
1. Siapkan Sistem
sudo apt update && sudo apt upgrade
sudo apt install build-essential python3-pip git
2. Pasang Driver NVIDIA dan CUDA Toolkit
sudo ubuntu-drivers autoinstall
# Reboot setelahnya
3. Clone dan Jalankan text-generation-webui
git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui
pip install -r requirements.txt
4. Download Model dari HuggingFace
Misalnya Phi-2:
python3 download-model.py microsoft/phi-2
5. Jalankan Web UI Lokal
python3 server.py --model microsoft/phi-2
Implementasi: SLM Sebagai Asisten Pentest
Berikut beberapa cara saya menggunakan SLM untuk mendukung pekerjaan pentest:
1. Evaluasi Payload
Prompt: Jelaskan payload ini: <script>alert(1)</script>
2. Auto Generate PoC
Prompt: Buatkan contoh eksploitasi SQL Injection untuk URL /product?id=
3. Interpreting Nmap Output
Prompt: Port 3306 terbuka, OS Linux. Apa langkah berikutnya?
4. Generate Laporan Otomatis
Prompt: Buat ringkasan laporan dari hasil pentest berikut [paste hasil]
Semua prompt ini dilakukan lokal tanpa internet. Cepat, aman, dan private.
Keuntungan Jalankan SLM Lokal untuk Pentest
| Keuntungan | Penjelasan |
|---|---|
| Privasi Data | Tidak perlu upload ke cloud |
| Kecepatan | Jawaban instan tanpa latensi |
| Hemat | Tanpa biaya API GPT |
| Fleksibel | Bisa di-custom dengan data internal |
| Offline Mode | Ideal untuk pentest jaringan internal tanpa internet |
Rencana Pengembangan Selanjutnya
Saya berencana:
- Fine-tune model dengan dataset exploit (ExploitDB, PayloadAllTheThings)
- Integrasi ke Burp Suite untuk menjelaskan hasil scan otomatis
- CLI SLM Assistant via Terminal untuk workflow pentest cepat
Penutup
Membangun Small Language Model (SLM) lokal untuk penetration testing di laptop dengan RTX 3060 adalah langkah efisien untuk menjawab kebutuhan real-time, privasi tinggi, dan keterbatasan akses cloud. Dengan setup yang tepat, kamu bisa menciptakan "asisten AI" pribadi yang mendampingi setiap langkah eksplorasi kerentanan secara offline — cepat, aman, dan cerdas.
Pingin punya template project, skrip otomatisasi, dan panduan integrasi lebih lanjut?.