プロンプトガイド

はじめに

Stable Diffusionで画像を生成する際、
プロンプト（指示文）を入力しますが、こんな経験、おありではないでしょうか？

実は、プロンプトには「順番」と「数」に明確なルールがあります。
この記事では、Stable Diffusionがプロンプトをどのように処理しているかを
技術的に、でもわかりやすく解説します。

第1章：プロンプト処理の全体像

テキストから画像が生成されるまで、4つのステップがあります。

テキスト入力（例: "1girl, blue eyes, long hair"）
    ↓
① CLIPトークナイザー ─ テキストを「トークン」に分解
    ↓
② CLIPテキストエンコーダー ─ トークンを「意味のベクトル」に変換
    ↓
③ Cross-Attention ─ テキストの意味を画像に注入
    ↓
④ U-Net ─ ノイズを除去して画像を完成

それぞれのステップを詳しく見ていきますわ。

第2章：CLIPトークナイザー

テキストの分解

最初のステップでは、入力されたテキストを「トークン」と呼ばれる小さな単位に分解します。

入力: "1girl, blue eyes, long hair"
  ↓ トークン化
["1", "girl", ",", "blue", "eyes", ",", "long", "hair"]
  ↓ トークンID化
[272, 1611, 267, 1929, 2575, 267, 1511, 2225]

CLIPトークナイザーは、テキストを辞書と照らし合わせてIDに変換します。
このIDがモデルへの入力になります。

トークン数について知っておくべきこと

⚠️ トークン上限 ─ 最も重要なルール

75トークンを超えたらどうなる？

第3章：CLIPテキストエンコーダー

意味の変換

トークンIDはそのままでは「ただの数字」です。
テキストエンコーダーが、各トークンを「意味を持つベクトル」に変換します。

ベクトルとは、768個の数値の並びです（SDXLでは1280個）。この数値が「意味」を表現しています。

"blue eyes" → [0.23, -0.15, 0.87, ..., 0.42]（768個の数値）
"red eyes"  → [0.45, -0.32, 0.91, ..., 0.18]（768個の数値）

「blue eyes」と「red eyes」は似た概念（目）なので、
ベクトルの大部分は似ていますが、色に関する次元の値が異なります。
CLIPは「画像とテキストのペア」数億組で学習されているため、
テキストのベクトルが画像の特徴と正確に対応しています。

位置エンコーディング ─ 順番が重要な理由

CLIPはTransformerという構造を使っており、各トークンに「位置情報」が付与されます。

位置1: 1girl    → 注目度: ★★★★★（最高）
位置2: solo     → 注目度: ★★★★☆
位置3: standing → 注目度: ★★★★☆
...
位置30: smile   → 注目度: ★★☆☆☆
位置50: detailed→ 注目度: ★☆☆☆☆

Self-Attention（自己注意機構）により、
前方のトークンほど他のトークンとの関連性計算で重視されます。
これが「プロンプトの順番が重要」な技術的理由です。

SDXLの2つのテキストエンコーダー

SDXLはSD 1.5と異なり、2つのCLIPモデルを使います。

2つのベクトルが結合されてU-Netに渡されます。これにより、SDXLはSD 1.5より複雑なプロンプトを理解できます。

第4章：Cross-Attention

【Cross-Attention の計算フロー】

画像特徴マップ (z) ──→ W_Q で変換 ──→ Q (Query)  「このピクセルは何？」
                                          ↓
テキストベクトル (c) ──→ W_K で変換 ──→ K (Key)    「各タグの意味は？」
                    └──→ W_V で変換 ──→ V (Value)  「各タグの視覚的特徴」

Attention Score = softmax( Q × K^T / √d_k )
出力 = Attention Score × V

【Multi-Head Attention（SD 1.5, 1280次元ブロックの場合）】

入力: Q(1280次元), K(768次元), V(768次元)
  ↓ 8ヘッドに分割
  Head 1: Q(160), K(96), V(96) → Attention → 出力(160)
  Head 2: Q(160), K(96), V(96) → Attention → 出力(160)
  ...
  Head 8: Q(160), K(96), V(96) → Attention → 出力(160)
  ↓ 結合
出力: 160 × 8 = 1280次元

各ヘッドが異なる特徴に注目：
  Head 1: 色の対応関係を学習
  Head 3: 形状の対応関係を学習
  Head 5: 空間的位置の対応関係を学習
  ...など

第5章：ネガティブプロンプトの仕組み

Classifier-Free Guidance (CFG)

ネガティブプロンプトは技術的には「この方向から離れろ」という指示です。

最終出力 = ネガティブ出力 + CFGスケール × (ポジティブ出力 - ネガティブ出力)

Textual Inversion（Embedding）─ ネガティブの強い味方

第6章：実践テクニック

(dark red eyes:1.3)  → 1.3倍に強化
(smile:0.7)          → 0.7倍に弱化
((important tag))    → 1.1 × 1.1 = 1.21倍

1girl, blue eyes, long hair BREAK forest, sunset, dramatic lighting

[キャラ識別] [構図] [身体特徴] [衣装] [表情] [背景] [品質]

例:
1girl, solo, upper body, looking at viewer,
blue eyes, long blonde hair,
white dress, ribbon,
smile,
garden, sunlight,
masterpiece, best quality

【重み付けの内部処理】

通常:  テキストベクトル c = CLIP("blue eyes")   → [0.23, -0.15, 0.87, ...]
重み:  テキストベクトル c' = 1.3 × c             → [0.30, -0.20, 1.13, ...]

Cross-Attention計算で、K = W_K × c' となるため、
このタグに対するAttention Scoreが全体的に上昇する

結果: "blue eyes" の影響が強い領域が広がり、色もより鮮やかになる

書式: [from:to:step]

[cat:dog:0.5]
→ 前半50%のステップは "cat" として処理
→ 後半50%のステップは "dog" として処理

[night:day:10]
→ ステップ1〜10は "night" として処理
→ ステップ11以降は "day" として処理

1girl, red dress AND blue background, starry sky

→ プロンプトAの出力（人物中心）と
  プロンプトBの出力（背景中心）を
  個別に計算して加算する

【AND構文の処理フロー】

ステップごとに:
  ① "1girl, red dress" → U-Net → ノイズ予測 ε_A
  ② "blue background, starry sky" → U-Net → ノイズ予測 ε_B
  ③ 最終出力 = ε_A + ε_B （加重平均も可能）

通常のカンマ区切りとの違い:
  カンマ: 1つのテキストベクトル内で全タグが混じる
  AND:    別々のテキストベクトルとして処理される → 干渉が少ない

【BREAK構文の内部処理】

入力: "1girl, blue eyes BREAK forest, sunset"

通常（BREAKなし）:
  チャンク1: [BOS, 1girl, blue, eyes, forest, sunset, ..., EOS, PAD, PAD, ...]
  → 77トークンの1つのチャンクに全て詰め込む

BREAKあり:
  チャンク1: [BOS, 1girl, blue, eyes, EOS, PAD, PAD, ..., PAD]  ← 75トークン分PAD
  チャンク2: [BOS, forest, sunset, EOS, PAD, PAD, ..., PAD]     ← 75トークン分PAD
  → 各チャンクが独立した77トークンとして処理される

通常:
  ε_θ(z_t, c)  ← 1つのテキスト条件 c で1回推論

Composable Diffusion:
  ε_θ(z_t, c_1, c_2, ...) = Σ w_i × ε_θ(z_t, c_i)
  ← 複数のテキスト条件 c_i それぞれで推論し、重み付き和を取る

第7章：よくある疑問

まとめ：プロンプトの黄金ルール

1. 重要なタグほど前に書く
   ─ 位置エンコーディングとAttentionの仕組み上、前方が有利
2. 75トークン以内に収める
   ─ 上限超えは影響力が大幅に弱まる
3. 同義語の重複を避ける
   ─ トークンの無駄。重み付けで代替
4. 矛盾するタグを入れない
   ─ Cross-Attentionが混乱する
5. 構図タグは前方に
   ─ 画像全体のレイアウトに影響
6. 品質タグは最小限に
   ─ masterpiece, best quality の2つで十分
7. ネガティブも整理する
   ─ 重要な除外要素を前方に