Compare — Cross-model Benchmark
モデル横断比較 準備中
「どのモデルが一番いいか」を、感想ではなく同一入力・複数回試行の実測値で答える常設ギャラリーです。 プロンプト・seed・設定をJSONで固定し、複数モデルに同じ課題を解かせます。
測定プロトコル(公開ルール)
- 同一入力の固定 — プロンプト+設定を1つのJSONに固定し、全モデルに同一投入。使用したJSONは各ページで配布します
- 複数回試行 — 1条件につき20回生成し、破綻率・再現率を%で出します(1枚のあたり画像で語らない)
- 失敗例も掲載 — ベストショットだけを並べる比較はしません
- 再検証で更新 — 新モデルが出るたびに同一条件で追加検証し、ページを更新します(生成日は必ず明記)
予定しているテーマ
- 第1回: 日本語30字の文字化け率 — インフォグラフィック内の日本語テキストが何%破綻するかを20回試行で実測
- キャラクター三面図の一貫性(正面・側面・背面で同一人物を保てるか)
- 設計図・取説風の分解図の線の正確さ
公開時は X (@webtantantou) で告知します。 それまではプロンプト図鑑の実証エントリをご覧ください。