論文の概要: The Plan, Not the Decoder: Diagnosing and Repairing Compositional Failure in Reasoning-Augmented Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2608.21713v1
- Date: Sat, 22 Aug 2026 01:34:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.428019
- Title: The Plan, Not the Decoder: Diagnosing and Repairing Compositional Failure in Reasoning-Augmented Text-to-Image Generation
- Title(参考訳): デコーダではなく, 推論によるテキスト・ツー・イメージ生成における構成不良の診断と修復
- Abstract要約: GoT-R1のような推論強化されたテキスト・ツー・イメージモデルでは、画像トークンを生成する前に明示的なテキスト・プランを出力する。
そのようなモデルが構成的プロンプトに失敗した場合、計画は間違っているのか、それとも計画が正しいのか、デコーダは不誠実なのか?
プログラムは機械可読であるため、デコードする前に編集できるため、2つの分離が可能である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning-augmented text-to-image models such as GoT-R1 emit an explicit textual plan - object names, attributes, and bounding boxes - before generating image tokens. When such a model fails a compositional prompt, is the plan wrong, or is the plan right and the decoder unfaithful? Because the plan is machine-readable it can be edited before decoding, which makes the two separable. We first validate the ruler. Swapping the two bounding boxes inside the model's own chain demonstrably flips the generated layout: detector-based accuracy falls 0.75 -> 0.48 (p<1e-3), while a widely used VQA-based spatial metric rises. A five-rater human study agrees with the detector on 81% of items and with the VQA judge on 57%. All spatial results therefore use geometric scoring. Under sound measurement the decoder is a faithful executor: 94% of generated layouts realize the planned relation, and object-box binding survives reordering of the plan's object segments. The planner is the bottleneck. It writes wrong relations for phrasing-dependent reasons - 98% accuracy on "left" against 54% on "right" for semantically identical layouts, a raster-order bias we isolate with a mention-order control - and cluttered geometry that the decoder faithfully reproduces. Editing the plan therefore fixes the image without retraining: symbolic verification with resampling gives +5.0 points (p<1e-3), minimal in-place repair +6.0 (p=.02), rewriting only box geometry +10.7 (p<1e-4), and replacing the plan outright +13.3 (p=1e-4). Gains are indifferent to the plan's prose style and to its likelihood under the planner, but not to its geometry. Modular planner-decoder designs are therefore viable, provided the plan is internally consistent: box-text contradictions induce object duplication and identity fusion. We release the plan-fidelity evaluation protocol, all plans, and 12k generated images.
- Abstract(参考訳): GoT-R1のようなReasoning-augmented text-to-imageモデルでは、イメージトークンを生成する前に、オブジェクト名、属性、バウンディングボックスといった明示的なテキストプランを出力する。
そのようなモデルが構成的プロンプトに失敗した場合、計画は間違っているのか、それとも計画が正しいのか、デコーダは不誠実なのか?
プログラムは機械可読であるため、デコードする前に編集できるため、2つの分離が可能である。
私たちはまず支配者を検証する。
モデル自身のチェーン内で2つの境界ボックスをスワップすると、生成されたレイアウトが明らかに反転する:検出器ベースの精度は 0.75 -> 0.48 (p<1e-3) となり、VQAベースの空間距離は増大する。
5レーターの人間による研究では、検知器が81%、VQA判事が57%で一致している。
したがって、すべての空間結果は幾何学的スコアリングを使用する。
生成したレイアウトの94%は計画された関係を認識し、オブジェクトボックスバインディングは計画のオブジェクトセグメントの再注文を継続する。
プランナーはボトルネックです。
セマンティックに同一のレイアウトで"右"の54%に対して"左"の98%の精度、参照順序制御で分離したラスタ順バイアス、デコーダが忠実に再現する散在した幾何学などです。
再サンプリングによるシンボリック検証では +5.0 点 (p<1e-3)、最小のインプレース修理 +6.0 (p=.02)、ボックス幾何学 +10.7 (p<1e-4) のみを書き直し、アウトライト +13.3 (p=1e-4) に置き換える。
利得は計画の散文形式とプランナーの下の可能性に無関心であるが、その幾何学には無関係である。
したがって、計画が内部的に一貫性があるならば、モジュール型プランナー・デコーダの設計は実行可能である: ボックステキストの矛盾はオブジェクトの重複とIDの融合を引き起こす。
我々は,計画忠実度評価プロトコル,全計画,12k画像をリリースする。
関連論文リスト
- P-POSEMEM: Projective Semantic Memory for Consistent Language Grounding under Pose-Graph Rewrites [10.214485367791779]
P-POSEMEMは、それぞれの観測をその誕生時に不変事象として保存する。
Dprojは、推論等価な全グラフと辺付きグラフの言語ゴール分布間の全変分欠陥を測定する。
論文 参考訳(メタデータ) (2026-09-14T12:31:38Z) - Disparity Has a Sign: Stereo Matching Beyond the Zero-Disparity Plane [52.210414985125816]
立体視内容が、負の相違に対応するゼロの相違面の背後にある物体をどう含んでいるかを示す。
撮影者が作成した7本の公開映画から21,495ドルのステレオペアのベンチマークである textitZDPShift を提案する。
同じシーンコンテンツでは、ファンデーションは25.24ドルEPEから75.33ドルpxに上昇し、すべてのバックボーンが3ピクセルの差分誤差を超えるピクセルの約半分を残している。
論文 参考訳(メタデータ) (2026-09-06T19:58:35Z) - Can Scene Text Recognition Read Rare Compositions? [1.7844382164707184]
6つの標準ベンチマークにおいて、シーンテキスト認識は89-97%正確であると報告され、その問題が飽和として広く扱われている。
私たちは代替の読書を提示する。
同じテスト画像が、基準コーパスに対して、接地的単語の規則性と文字n-gramの新規性によって共同で成層されると、結果の5x5グリッドのレアワードxレアトリグラムコーナーでの精度は、q3/q3センタより10〜18pt下方に低下する。
論文 参考訳(メタデータ) (2026-09-01T07:16:42Z) - When Should a Network Emit Geometry, and When Should It Detect It? Readout, Reconciliation, and Representation in Floorplan Vectorization [7.628568362560024]
ブートストラップされたフロアプランの壁、開口部、部屋を回復するよう訓練されたネットワークは、その出力を2つの方法で生成することができる。
同じトレーニングネットワーク上の2つのリードアウトを比較します。
一致したデータとレシピでは、調停ステップと壁優先シーケンスモデルを備えた部屋中心のシステムが、同等の壁品質に達する。
論文 参考訳(メタデータ) (2026-08-26T10:25:09Z) - The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom [0.0]
LeModelは、予測損失と1つの反崩壊正規化器を備えた潜在世界モデルを訓練する。
約25ドル(約2万5000円)のレンタルコンピュータ上で、独立した再実装によってこれを再現し、1台のラップトップCPU上で全ての評価を行う。
論文 参考訳(メタデータ) (2026-08-10T19:00:51Z) - Depth-Wise Probing and Pruning of the Planning Token in a Driving Vision-Language-Action Model [10.925063608741844]
生成計画立案者が軌道に復号する単一計画トークンにより、計画全体を担っているVLAの代表者について検討する。
ナビゲーションコマンドの線形復調性と,凍結したネイティブプランナとの軌道互換性の2つの信号を測定する。
論文 参考訳(メタデータ) (2026-08-07T16:02:34Z) - Explaining AI-Image Detection: What the Heatmap Actually Shows [65.01025489527173]
私たちは検出器を構築し、その証拠として属性マップを添付します。
私たちは、そのペアがコントロール下の186,527のイメージにもたらすものを測定します。
属性ランキングが存在するかどうかは、検出器が画像に反応するかどうかに依存する。
論文 参考訳(メタデータ) (2026-07-31T16:07:05Z) - Draw2Think: Harnessing Geometry Reasoning through Constraint Engine Interaction [59.47026381165585]
視覚言語モデルは精度を上げて幾何学的問題を解くが、その中間状態は潜伏し、検証できないままである。
我々は,GeoGebra制約エンジンとのエージェント相互作用に潜時空間推論から幾何推論を再キャストするフレームワークDraw2Thinkを提案する。
論文 参考訳(メタデータ) (2026-05-20T05:46:14Z) - The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark [5.223799635449313]
ノットベンチは1,951個の素結びのプロトタイプから858,318イメージのコーパスを合成する。
14のタスクは、等価判断、移動予測、識別、およびクロスモーダルグラウンドの4つのファミリーにまたがる。
両ベンダで64Kのアウトプット・トケンが一致した予算の下で、クロード・オプス4.7とGPT-5をそれぞれ検討し、評価した。
論文 参考訳(メタデータ) (2026-05-11T02:44:30Z) - Think First, Diffuse Fast: Improving Diffusion Language Model Reasoning via Autoregressive Plan Conditioning [0.0]
本稿では,ARモデルから拡散モデルのプロンプトまで,短い自然言語プランを前提とした学習自由化手法であるプラン条件付けを提案する。
プランコンディショニングは1問題あたり0.002ドル、レイテンシは2秒追加される。
5つのランダムシードに対して、計画条件付きGSM8K精度は標準偏差がゼロであり、拡散推論は極めて安定である。
論文 参考訳(メタデータ) (2026-02-20T09:52:13Z) - GoRela: Go Relative for Viewpoint-Invariant Motion Forecasting [121.42898228997538]
精度や一般化を犠牲にすることなく、全てのエージェントとマップに対して効率的な共有符号化を提案する。
不均一空間グラフにおけるエージェントとマップ要素間の幾何学的関係を表現するために、ペアワイズ相対的な位置符号化を利用する。
我々のデコーダは視点非依存であり、レーングラフ上でエージェント目標を予測し、多様かつコンテキスト対応のマルチモーダル予測を可能にする。
論文 参考訳(メタデータ) (2022-11-04T16:10:50Z) - Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。
平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。
提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文 参考訳(メタデータ) (2022-05-05T17:59:55Z) - Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic
Parsing [55.97957664897004]
seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。
これらのモデルは通常、長さ予測によってボトルネックとなる。
本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
論文 参考訳(メタデータ) (2021-04-15T07:02:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。