Yakın zamanda geliştirilen LucidDreamer, metinden 3D model üretimi konusunda önemli bir yenilik sunuyor. Bu sistem, mevcut yöntemlerde sıkça karşılaşılan aşırı pürüzsüzleştirme sorununu aşmak için Interval Score Matching (ISM) metodunu kullanıyor. ISM, daha gerçekçi ve ayrıntılı çıktılar sağlayarak, önceki metin-3B üretim modellerini aşmayı başarıyor. LucidDreamer, geniş bir uygulama yelpazesine sahip olup, sıfır atışlı avatar oluşturma ve kişiselleştirilmiş metin, 3D üretimi gibi alanlarda kullanılabiliyor.
LucidDreamer, daha önceki metin-3D çeviri sistemlerinde yaygın olan Score Distillation Sampling (SDS) metodunun yerine Interval Score Matching (ISM) metodunu kullanıyor. ISM, DDIM ters çevirme yöntemini kullanarak, pseudo-Gerçek Doğruluk (pseudo-Ground Truth) tutarsızlıklarından kaynaklanan ortalama etkisini azaltıyor. Bu yaklaşım, 3D modellerin daha tutarlı ve kaliteli pseudo-Gerçek Doğruluklar ile eşleştirilmesini sağlıyor ve böylece yüksek kaliteli ve ayrıntılı çıktılar üretiyor.
LucidDreamer’ın mimarisi ve çalışma prensibi, SDS’nin temel zorluklarını aşmayı hedefliyor. SDS, DDPM’nin (Deep Deterministic Policy Gradient Models) koşullu sonrasını modellemek için önceden eğitilmiş bir DDPM kullanıyor ve tek adımlı tahminle elde edilen pseudo-Gerçek Doğruluklar ile 3D modelin görünümünü eşleştirmeye çalışıyor. Ancak bu süreç, DDPM’nin kritik yönlerini göz ardı ederek düşük kaliteli çıktılar üretiyor.
LucidDreamer, 3D Gaussian Splatting ve 3D nokta bulutu üretim modelleri gibi gelişmiş üretim tekniklerini de kullanıyor. Bu teknikler, eğitim sürecindeki toplu iş boyutunu ve çözünürlüğünü artırarak görsel kaliteyi önemli ölçüde iyileştiriyor. Ayrıca, bu yaklaşımlar, sınırlı hesaplama kaynaklarıyla bile yüksek çözünürlüklü üretimi mümkün kılıyor.