Son dönemde geliştirme süreçlerinde yapay zekâ destekli kod üretimi (Copilot, ChatGPT, Claude vb.) hızla yaygınlaşıyor. Ancak bu araçların ürettiği kod parçalarının güvenlik açıkları içerebileceği veya kötü niyetli girdilerle (prompt injection) yönlendirilebileceği endişesi var. Özellikle kullanıcıdan gelen metinleri doğrudan LLM'e besleyen uygulamalarda, modelin zararlı çıktı üretmesi veya sistem komutlarını çalıştırması gibi riskler konuşuluyor.
Ben kendi projelerimde henüz sistematik bir test yöntemi oturtamadım. Sizler bu konuda neler yapıyorsunuz? Örneğin:
- Üretilen kodu statik analiz araçlarından (SAST) geçiriyor musunuz? Hangi araçlar LLM çıktıları için daha uygun?
- Prompt injection senaryolarını test etmek için özel bir test seti veya framework kullanıyor musunuz? Yoksa manuel olarak mı deniyorsunuz?
- LLM'in ürettiği kodu otomatik olarak çalıştırmadan önce hangi güvenlik kontrollerini uyguluyorsunuz?
- Bu riskleri azaltmak için prompt tasarımında veya mimaride ne gibi önlemler alıyorsunuz?
Gerçek deneyimlerinizi ve önerilerinizi paylaşırsanız çok sevinirim. Özellikle açık kaynak araçlar veya kendi geliştirdiğiniz çözümler varsa, bunları duymak isterim. Teşekkürler.