Kontrol Konsistensi Karakter 3D di Midjourney v6 & Flux: Framework Seed LoRA + Depth Conditioning

Setiap desainer grafis atau technical artist yang pernah berurusan dengan model difusi generatif pasti paham rasa frustrasi ini: Anda berhasil menciptakan karakter 3D dengan topologi wajah yang sempurna pada shot pertama, namun ketika kamera digeser 45 derajat ke samping untuk medium shot dengan pencahayaan chiaroscuro, wajah karakter tersebut bermutasi menjadi orang yang sama sekali berbeda. Hidungnya sedikit memanjang, garis rahangnya melebar dua milimeter, dan pantulan rim light pada kulitnya kehilangan tekstur subsurface scattering yang sebelumnya begitu hidup.

Fenomena ini sering disebut latent drift. Model difusi pada dasarnya adalah mesin probabilitas non-deterministik. Mereka tidak "tahu" bahwa sebuah wajah memiliki struktur tulang yang solid dalam ruang tiga dimensi; mereka hanya menebak piksel mana yang paling masuk akal muncul berdasarkan distribusi statistik dari miliaran gambar latihan. Mengharapkan difusi generatif menjaga proporsi wajah secara konsisten di 20 angle kamera yang berbeda tanpa intervensi arsitektural sama halnya dengan bermain judi di kasino Monte Carlo: sesekali Anda menang, tetapi rumah taruhan selalu memegang kendali atas kegagalan Anda.

Untuk kebutuhan produksi profesional—baik itu pembuatan game asset cinematic, virtual influencer, storyboard film, maupun brand mascot—pendekatan berbasis keberuntungan (prompt and pray) harus dibuang ke tempat sampah. Kita butuh kontrol deterministik.

Artikel ini membedah framework produksi tingkat lanjut yang menggabungkan dua raksasa generatif saat ini: Midjourney v6 dan Flux.1 (Dev/Schnell). Kita akan mengawinkan pendekatan heuristic-referencing milik Midjourney dengan presisi spasial berbasis Depth Conditioning dan Seed LoRA pada arsitektur Transformer milik Flux, dikendalikan sepenuhnya melalui mapping parameter JSON terstruktur yang dapat diotomasi via API.

Dua Paradigma Identitas: Midjourney v6 vs Flux.1

Sebelum melompat ke konfigurasi teknis, kita perlu memahami perbedaan mendasar cara Midjourney v6 dan Flux.1 menangani representasi data visual. Keduanya mewakili dua filosofi rekayasa yang sangat kontras.

+-----------------------------------------------------------------------------+
|                            DIFUSI & LATENT SPACE                            |
+-----------------------------------------------------------------------------+
        |                                                   |
        v                                                   v
 [ Midjourney v6 ]                                   [ Flux.1 Dev ]
  Model: Black-box Heuristic                          Model: Open Rectified Flow DiT
  Mekanisme: CLIP/Vision Embedding Injection         Mekanisme: MMDiT + Cross-Attention Bias
  Kontrol: Heuristik(--cref, --cw)                   Kontrol: Spasial Eksplisit(ControlNet/LoRA)
  Kelebihan: Estetika sinematik instan                Kelebihan: Presisi geometris deterministik

Midjourney v6 mengandalkan parameter --cref (Character Reference) yang bekerja di level vision feature extraction. Midjourney membaca gambar referensi, mengekstrak fitur semantik tingkat tinggi (warna rambut, proporsi mata secara umum, mood pencahayaan), lalu menyuntikkannya ke dalam proses denoising. Ini cepat dan indah, tetapi Anda tidak bisa mengunci depth map secara matematis.

Di sisi lain, Flux.1 menggunakan arsitektur Flow Matching berbasis Transformer (MMDiT - Multimodal Diffusion Transformer). Karena sifat arsitekturnya yang modular dan terbuka, kita dapat mengintervensi ruang laten secara langsung menggunakan Depth Conditioning (ekstraksi kedalaman dari render 3D dasar) dan Micro-Seed LoRA (bobot adaptasi berukuran kecil yang dilatih pada 5–10 canonical shot karakter).

Membangun Fondasi: Konsep Depth Conditioning + Seed LoRA

Mengapa kita harus menggabungkan Depth Map dengan LoRA? Bukankah salah satu saja sudah cukup? Jawabannya terletak pada pemisahan antara Geometri dan Tekstur Mikro.

1. Depth Conditioning (Spasial) bertindak seperti manekin digital. Peta kedalaman abu-abu (grayscale depth map) memberi tahu model: "Di koordinat (X, Y) ini ada tonjolan hidung sepanjang 3 sentimeter, dan di koordinat (X2, Y2) ada lekukan soket mata." Model tidak lagi diizinkan menebak posisi fitur wajah.
2. Seed LoRA / Identity Embeddings (Tekstur & Identitas) bertindak seperti kulit dan materi. LoRA memberi tahu model: "Di atas tonjolan hidung tersebut, pasang tekstur pori-pori kulit dengan ketebalan tertentu, warna iris mata #3B2F2F, dan sedikit kilau minyak pada bagian T-zone."

Dengan memisahkan struktur fisik dari informasi material, kita bisa memutar sudut kamera ke arah mana pun tanpa takut karakter kehilangan bentuk wajah aslinya.

[ 3D Base Mesh / Pose Proxy ]
                    │
                    ▼
          [ Depth Extraction ] (ZoeDepth / Depth Anything v2)
                    │
                    ▼
   [ Depth Map ] ───┬───> [ Flux.1 ControlNet Pipeline ] <─── [ Seed LoRA(Identity) ]
                    │                    │
                    │                    ▼
                    └───> [ Denoising with Studio Lighting Prompt ]
                                         │
                                         ▼
                            [ 20x Consistent Output Shots ]

Langkah Kerja Terstruktur: 20 Variasi Shot Sinematik

Berikut adalah panduan langkah demi langkah implementasi pipeline produksi untuk menghasilkan 20 shot sinematik yang sepenuhnya konsisten.

Langkah 1: Pembuatan Canonical Asset (The Identity Anchor)

Jangan memulai dengan prompt aksi yang rumit. Buat terlebih dahulu aset kanonikal: foto potret netral beresolusi tinggi dengan pencahayaan flat studio (tanpa bayangan keras).

Gunakan prompt master:

3D stylized character portrait, realistic CGI digital human, neutral expression, symmetrical front-facing, studio flat lighting, diffuse white background, 8k resolution, subsurface scattering shader, Octane Render style, Unreal Engine 5.4 cinematic render --ar 1:1 --quality 2

Simpan hasil ini sebagai anchor_identity.png. Gambar ini akan menjadi kompas visual untuk ekstraksi depth dan referensi Seed LoRA.

Langkah 2: Ekstraksi Peta Kedalaman (Depth Map Generation)

Untuk setiap 20 variasi pose kamera yang Anda inginkan (misal: low-angle hero shot, dutch angle close-up, profile silhouette), siapkan pose proxy sederhana. Anda bisa menggunakan model 3D dasar di Blender, Daz Studio, atau cukup mengekstrak depth map dari pose model manusia gratis menggunakan model Depth Anything v2.

Simpan 20 peta kedalaman ini dalam direktori lokal atau cloud storage dengan penamaan terstruktur: shot_01_extreme_closeup_depth.png hingga shot_20_wide_overhead_depth.png.

Otomasi Produksi: Arsitektur Parameter JSON

Alih-alih mengetik prompt satu per satu di antarmuka web, pipeline profesional dijalankan menggunakan berkas konfigurasi terstruktur. Berikut adalah skema JSON yang memetakan 20 variasi shot lengkap dengan parameter pencahayaan, lensa, bobot kedalaman, dan seed anchor.

{
  "project": "Cyberpunk_Noir_Character_Genesis",
  "character_id": "CHAR_VALENTINA_3D",
  "global_lora": {
    "lora_name": "valentina_3d_v1_rank8.safetensors",
    "strength": 0.85
  },
  "shots": [
    {
      "shot_id": "SHOT_01",
      "camera": {
        "type": "Extreme Close-Up(ECU)",
        "focal_length": "85mm",
        "aperture": "f/1.4",
        "angle": "Frontal 0 deg"
      },
      "lighting": {
        "setup": "Split Studio Lighting",
        "key_light": "Cyan LED at 45 deg",
        "fill_light": "Soft amber bounce at 135 deg",
        "rim_light": "Sharp magenta kicker on jawline"
      },
      "conditioning": {
        "depth_map": "assets/depth/shot_01_ecu.png",
        "depth_weight": 0.75,
        "controlnet_start": 0.0,
        "controlnet_end": 0.80
      },
      "generation_params": {
        "seed": 429811204,
        "guidance_scale": 3.5,
        "steps": 28,
        "sampler": "Euler"
      }
    },
    {
      "shot_id": "SHOT_02",
      "camera": {
        "type": "Medium Profile Shot",
        "focal_length": "50mm",
        "aperture": "f/2.8",
        "angle": "Side Yaw 75 deg"
      },
      "lighting": {
        "setup": "Chiaroscuro Cinematic",
        "key_light": "High-contrast spotlight",
        "fill_light": "Minimal 5% fill",
        "rim_light": "Razor sharp edge light on nose bridge"
      },
      "conditioning": {
        "depth_map": "assets/depth/shot_02_profile.png",
        "depth_weight": 0.82,
        "controlnet_start": 0.0,
        "controlnet_end": 0.85
      },
      "generation_params": {
        "seed": 429811204,
        "guidance_scale": 3.5,
        "steps": 28,
        "sampler": "Euler"
      }
    }
  ]
}

Perhatikan bahwa nilai seed dipertahankan sama atau dikunci dalam kelompok tertentu (seed clustering), sementara nilai depth_weight dinaikkan pada sudut yang lebih ekstrem (seperti shot_02 dengan yaw 75 derajat) untuk mencegah model "mengarang" bentuk tulang hidung yang tidak sesuai.

Eksekusi Skala Besar via AiStudio.id API Gateway

Menjalankan model Flux.1 berukuran 12B parameter bersamaan dengan ControlNet Depth pada 20 shot beresolusi 4K secara lokal akan menyiksa GPU level konsumen. VRAM bottleneck dan waktu inference yang lambat membatasi iterasi kreatif. Di sinilah integrasi API menjadi penentu kecepatan kerja.

Melalui ekosistem AiStudio.id API Gateway, pengembang dan studio kreatif dapat mengorkestrasi proses inferensi Midjourney v6 dan Flux.1 secara terprogram dalam satu alur kerja terpadu. Anda cukup mengirimkan payload JSON di atas ke endpoint API, dan sistem akan mengembalikan render batch dalam hitungan detik dengan latensi minimal.

Berikut adalah contoh skrip Python untuk mengeksekusi pipeline konsistensi karakter secara otomatis menggunakan SDK REST API:

import json
import os
import requests
import time

AISTUDIO_API_URL = "https://api.aistudio.id/v1/generation/flux-depth-pipeline"
AISTUDIO_API_KEY = os.getenv("AISTUDIO_API_KEY")

def execute_character_batch(config_file_path: str):
    """
    Membaca berkas konfigurasi shot JSON dan mengirimkan batch job 
    ke AiStudio.id API Gateway untuk generasi deterministik.
    """
    with open(config_file_path, "r") as f:
        config = json.load(f)

    headers = {
        "Authorization": f"Bearer {AISTUDIO_API_KEY}",
        "Content-Type": "application/json"
    }

    results = []
    print(f"Memulai pipeline produksi untuk karakter: {config['character_id']}")

    for shot in config["shots"]:
        prompt_composite = (
            f"3D render of {config['character_id']}, {shot['camera']['type']}, "
            f"lens {shot['camera']['focal_length']} {shot['camera']['aperture']}, "
            f"{shot['lighting']['setup']}, {shot['lighting']['key_light']}, "
            f"{shot['lighting']['fill_light']}, {shot['lighting']['rim_light']}, "
            f"cinematic subsurface scattering, photorealistic octane 3D render"
        )

        payload = {
            "prompt": prompt_composite,
            "lora": config["global_lora"],
            "controlnet": {
                "type": "depth",
                "depth_map_path": shot["conditioning"]["depth_map"],
                "weight": shot["conditioning"]["depth_weight"],
                "start_step": shot["conditioning"]["controlnet_start"],
                "end_step": shot["conditioning"]["controlnet_end"]
            },
            "parameters": shot["generation_params"]
        }

        print(f"Mengirim render request: {shot['shot_id']}...")
        response = requests.post(AISTUDIO_API_URL, headers=headers, json=payload)
        
        if response.status_code == 200:
            job_data = response.json()
            results.append({"shot_id": shot["shot_id"], "image_url": job_data["output_url"]})
            print(f"Sukses: {shot['shot_id']} selesai dirender.")
        else:
            print(f"Gagal pada {shot['shot_id']}: {response.text}")

        # Rate-limiting guard
        time.sleep(1)

    return results

if __name__ == "__main__":
    # Eksekusi pipeline produksi
    render_manifest = execute_character_batch("character_shots_schema.json")
    print(f"Semua shot selesai diproses: {len(render_manifest)} output siap.")

Pendekatan programatik seperti ini memotong waktu kerja manual dari berhari-hari menjadi beberapa menit. Yang lebih penting, jika klien atau sutradara meminta perubahan warna rim light dari magenta ke emerald green, Anda tidak perlu menggambar ulang atau melakukan in-painting manual; cukup ubah variabel string di JSON dan jalankan kembali skrip tersebut.

Manajemen Edge Cases & Panduan Praktisi di Lapangan

Bahkan dengan Depth Conditioning dan LoRA, Anda akan menemui skenario di mana model mulai terdistorsi. Berdasarkan ratusan jam pengujian produksi, berikut adalah jebakan teknis paling umum dan cara mengatasinya:

+--------------------------------------------------------------------------------+
|                       DIAGNOSTIK KEGAGALAN DIFUSI                              |
+--------------------------------------------------------------------------------+
| Gejala                  | Akar Masalah              | Solusi Praktis           |
|-------------------------+---------------------------+--------------------------|
| Specular Highlight      | Key light prompt bentrok  | Hapus deskripsi cahaya   |
| "Bocor" ke Bentuk Wajah | dengan depth map          | dari LoRA; isolasi di    |
|                         |                           | prompt sekunder          |
|-------------------------+---------------------------+--------------------------|
| Distorsi Telinga &      | Depth map kehilangan data | Naikkan depth_weight     |
| Rahang pada Yaw >60°    | oklusi di sudut ekstrem   | ke 0.85; potong ending   |
|                         |                           | step di 0.75             |
|-------------------------+---------------------------+--------------------------|
| Tekstur Kulit "Plastik" | ControlNet over-guiding   | Turunkan controlnet_end  |
| Terlalu Halus           | (menindas tekstur mikro)  | ke rentang 0.65 - 0.75   |
+--------------------------------------------------------------------------------+

1. Masalah Specular Highlight Drift

Solusi: Kurangi depth_weight menjadi 0.70 dan batasi pengaruh ControlNet hanya hingga langkah ke-70% (controlnet_end: 0.70). Biarkan 30% langkah denoising terakhir diisi oleh model difusi murni untuk merender specular reflection dan bayangan alami di atas geometri yang sudah terkunci di awal.

2. Deformasi Anatomi pada Sudut Ekstrem (>60° Yaw)

Solusi: Gunakan teknik hybrid conditioning. Tambahkan OpenPose 3D Face di samping Depth Map. Dua panduan spasial ini saling melengkapi: OpenPose menjaga posisi relatif fitur wajah, sementara Depth Map menjaga volume 3D-nya.

3. Prompt Bleeding Antara Busana dan Kulit

Solusi: Terapkan Regional Prompting atau pisahkan blok token karakter menjadi dua segmen tegas menggunakan pemisah sintaksis yang dipahami oleh parser Flux (seperti AND syntax atau attention decoupling).

Memperlakukan Generative AI Sebagai Engineering Engine

Perbedaan antara pembuat gambar amatir dan studio produksi modern terletak pada determinisme. Mengandalkan keberuntungan saat menekan tombol generate bukanlah strategi bisnis yang berkelanjutan.

Dengan membangun pipeline terstruktur—mengunci geometri melalui Depth Conditioning, mengunci identitas mikro melalui Seed LoRA, mengontrol atmosfer visual menggunakan JSON Parameter Mapping, dan mengalirkan semuanya melalui infrastruktur API berkinerja tinggi seperti AiStudio.id—kita mengubah model difusi dari mainan stokastik menjadi mesin produksi visual yang presisi, terukur, dan siap pakai untuk kebutuhan industri skala besar.

Catatan Penulis

> Sandra menulis seputar rekayasa prompt, efisiensi arsitektur AI, dan produk digital di AiStudio.id.