Kurikulum & Materi Pembelajaran
1. Pengantar Large Language Models (LLM)
Modul ini memberikan pemahaman dasar mengenai Large Language Models (LLM), mencakup konsep, kemampuan utama, keterbatasan, serta berbagai penerapan LLM di dunia nyata. Peserta akan memahami bagaimana LLM digunakan dalam chatbot, sistem rekomendasi, analisis teks, hingga otomasi proses bisnis, sekaligus risiko keamanan yang menyertainya .
2. Arsitektur LLM
Pembahasan mendalam mengenai bagaimana LLM dirancang dan bekerja secara internal. Topik meliputi proses training, tokenisasi, embedding, inference, serta alur data dari input hingga output. Modul ini menjadi fondasi penting untuk memahami titik-titik serangan pada sistem AI modern .
3. Prinsip Keamanan LLM
Fokus pada tantangan dan isu keamanan yang unik pada LLM, mulai dari penyalahgunaan model, manipulasi input, hingga risiko kebocoran data. Peserta akan mempelajari prinsip dasar keamanan yang harus diterapkan saat mengembangkan dan mengoperasikan sistem berbasis LLM .
4. Keamanan Data dalam Sistem AI
Modul ini membahas praktik terbaik dalam melindungi data pelatihan maupun data inferensi. Topik meliputi enkripsi data, anonimisasi, kontrol akses, serta perlindungan data sensitif agar tidak terekspos melalui output model .
5. Keamanan Model AI
Peserta mempelajari berbagai ancaman terhadap model AI, seperti model inversion, model extraction, dan data poisoning. Modul ini juga membahas strategi mitigasi untuk menjaga integritas dan kerahasiaan model dari serangan eksternal .
6. Keamanan Infrastruktur AI
Menitikberatkan pada pengamanan infrastruktur pendukung LLM, termasuk server, cloud environment, container, GPU, serta jaringan. Modul ini membantu peserta memahami bagaimana kelemahan infrastruktur dapat berdampak langsung pada keamanan sistem AI .
7. OWASP Top 10 untuk LLM
Penerapan OWASP Top 10 yang telah disesuaikan untuk sistem berbasis LLM. Peserta akan mempelajari kategori kerentanan utama pada aplikasi AI, beserta contoh kasus dan pendekatan mitigasinya .
8. Instalasi dan Deployment LLM
Panduan langkah demi langkah dalam menyiapkan, mengonfigurasi, dan melakukan deployment LLM secara aman di lingkungan pengembangan maupun produksi. Fokus diberikan pada praktik secure-by-default dan hardening sistem .
9. Model Context Protocol (MCP)
Pengenalan Model Context Protocol (MCP) dan perannya dalam menjaga konsistensi serta keamanan konteks pada aplikasi LLM. Modul ini membantu peserta memahami bagaimana konteks dapat menjadi vektor serangan jika tidak dikelola dengan baik .
10. Publikasi Model Menggunakan Ollama
Pembahasan tentang cara mempublikasikan dan mengelola model LLM secara aman menggunakan platform Ollama, termasuk pengaturan akses, versi model, dan kontrol distribusi .
11. Retrieval-Augmented Generation (RAG)
Pemahaman arsitektur RAG yang mengombinasikan LLM dengan sumber data eksternal. Modul ini membahas manfaat RAG sekaligus risiko keamanannya, seperti data poisoning dan informasi tidak tervalidasi .
12. Membuka Akses Publik pada Aplikasi AI
Panduan dan pertimbangan keamanan saat AI application diakses oleh publik atau klien eksternal. Modul ini menekankan pentingnya authentication, rate limiting, dan monitoring .
13. Teknik Enumerasi Menggunakan AI
Eksplorasi teknik enumerasi dalam keamanan siber yang diperkuat dengan AI, untuk kebutuhan reconnaissance, pemetaan aset, dan identifikasi potensi celah keamanan .
14. Serangan Prompt Injection
Analisis mendalam mengenai prompt injection, baik langsung maupun tidak langsung. Peserta akan memahami cara kerja serangan, dampaknya, serta teknik pencegahan dan deteksi .
15. Eksploitasi API LLM: Studi Kasus Nyata
Pembahasan berbagai bug dan kerentanan yang sering ditemukan pada API LLM, dilengkapi dengan skenario eksploitasi di dunia nyata dan pendekatan mitigasi .
16. Kebocoran Password Melalui Model AI
Studi kasus dan risiko di mana LLM secara tidak sengaja mengungkap kredensial atau data rahasia. Modul ini menekankan pentingnya data sanitization dan kontrol output .
17. Indirect Prompt Injection
Pendalaman teknik manipulasi tidak langsung terhadap LLM melalui konten buatan pengguna atau sumber eksternal, serta cara mendeteksi dan membatasinya .
18. Kesalahan Konfigurasi pada Deployment LLM
Identifikasi kesalahan konfigurasi umum yang sering terjadi pada sistem LLM dan bagaimana kesalahan tersebut dapat dimanfaatkan oleh attacker .
19. Penyalahgunaan API dengan Hak Akses Berlebih
Analisis risiko API LLM yang memiliki privilege berlebihan dan bagaimana hal tersebut dapat dieksploitasi untuk melakukan aksi tidak sah .
20. Manipulasi Konten Output LLM
Teknik yang digunakan untuk memanipulasi hasil keluaran LLM, termasuk bias injection dan output steering, serta strategi defensif untuk menjaga integritas respon AI .
21. Serangan Ekstraksi Data pada LLM
Pembahasan metode serangan yang bertujuan mengekstrak data pelatihan atau informasi sensitif dari LLM, beserta mitigasinya .
22. Pengamanan Sistem AI Secara Menyeluruh
Pendekatan holistik dalam mengamankan sistem AI, mencakup aspek model, data, akses pengguna, API, dan deployment environment .
23. System Prompt dan Dampak Keamanannya
Peran system prompt dalam mengendalikan perilaku LLM serta risiko keamanan jika system prompt bocor atau dimanipulasi .
24. Automated Penetration Testing dengan AI
Pemanfaatan AI dan LLM untuk melakukan penetration testing secara otomatis, termasuk vulnerability discovery, analisis hasil, dan efisiensi proses pengujian keamanan .
