論文の概要: Autoregressive Mosaics: Probing 2D Spatial Reasoning in Text-Only Language Models

• arxiv url: http://arxiv.org/abs/2608.30751v1
• Date: Mon, 31 Aug 2026 13:18:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.413019
• Title: Autoregressive Mosaics: Probing 2D Spatial Reasoning in Text-Only Language Models
• Title（参考訳）: 自動回帰モザイク:テキストオンリー言語モデルにおける2次元空間推論の提案
• Authors: Ashwin Nedungadi, Stefan Oehmcke, Stefan Lüdtke,
• Abstract要約: テキストのみの大規模言語モデルにおける2次元空間性能は、モデルと出力媒体の両方に依存することを示す。 8つのオープンウェイトなテキストとコードのみのモデルで、すべてのモデルは特定の幾何学を確実にコードに変換する。 プロシージャコードを生のSVGに置き換えると、すべてのモデルのレイアウトスコアが向上する。
• 参考スコア（独自算出の注目度）: 5.6674894905527795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) trained only on text and code can sometimes generate programs that draw recognizable images. However, it is unclear whether this reflects an internal representation of 2D spatial layout or simply the ability to translate spatial descriptions into code. We introduce Autoregressive Mosaics (AM-Bench), a benchmark that separates these factors: First, a translation task gives a model a fully specified geometry of a picture in words as a prompt and asks for the code that produces it. Second, a layout task requires the model to compose an image from an underspecified prompt. Across eight open-weight text-and-code-only models, all models reliably translate specified geometry into code, but their open-ended layout performance differs substantially, indicating that these differences are not explained by code-generation ability alone. An output-medium ablation further shows that the interface or medium of expression that the model uses matters: replacing procedural code with raw SVG improves layout scores across all models. Finally, probing model activations shows that a coarse layout plan is present before generation, but reflects only the layout implied by the prompt. During generation, models track the evolving geometric state instead of executing an initially fixed plan. Overall, these results show that 2D spatial performance in text-only LLMs depends on both the model and the output medium, and is not explained by code-generation ability alone.
• Abstract（参考訳）: 大規模言語モデル(LLM)はテキストとコードだけで訓練され、時には認識可能な画像を描くプログラムを生成することがある。 しかし、これが2次元空間レイアウトの内部表現を反映しているのか、それとも単に空間記述をコードに変換する能力なのかは不明である。 自動回帰モザイク (AM-Bench) は,これらの要因を区別するベンチマークである。 第二に、レイアウトタスクは、未特定のプロンプトからイメージを構成するためにモデルを必要とする。 8つのオープンウェイトなテキストとコードのみのモデルにおいて、すべてのモデルは特定の幾何を確実にコードに変換するが、そのレイアウト性能は大きく異なり、これらの違いはコード生成能力だけでは説明されない。 プロシージャコードを生のSVGに置き換えることで、すべてのモデルにおけるレイアウトスコアが改善される。 最後に、探索モデルアクティベーションは、粗いレイアウトプランが生成前に存在することを示しているが、プロンプトによって入力されるレイアウトのみを反映している。 生成中、モデルは初期固定された計画を実行するのではなく、進化する幾何学的状態を追跡する。 これらの結果から,テキストのみのLLMにおける2次元空間性能はモデルと出力媒体の両方に依存し,コード生成能力だけでは説明できないことがわかった。

関連論文リスト

• Imagine Before You Draw: Visual Prompt Engineering for Image Generation [67.81347924426714]
  内部フレームワークにシームレスに統合可能なVisual Prompt Engineering (VPE)を提案する。 我々は,クラス条件生成,テキスト・ツー・イメージ生成,画像編集にまたがってVPEを検証する。 その結果, VPEはコンバージェンスを加速し, 天井の質を高め, 内部統合により, 編集保存性を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2026-06-03T05:01:36Z)
• UniModel: A Visual-Only Framework for Unified Multimodal Understanding and Generation [51.31795451147935]
  本稿では,単一のピクセル間拡散フレームワーク内での視覚的理解と視覚的生成を支援する統合生成モデルを提案する。 私たちのゴールは、モデル、タスク、表現の3つの軸に沿った統一を達成することです。 画像間合成と画像間理解の実験は、強いモーダルアライメントを示す。
  論文  参考訳（メタデータ） (2025-11-21T03:02:10Z)
• Reason out Your Layout: Evoking the Layout Master from Large Language Models for Text-to-Image Synthesis [47.27044390204868]
  本稿では,レイアウト生成器としてLarge Language Models (LLM) を用いたT2I拡散モデルの改良手法を提案する。 実験により,画像の画質とレイアウト精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-28T14:51:13Z)
• LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
  本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。 提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。 提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2023-05-23T03:59:06Z)
• Text-To-Concept (and Back) via Cross-Model Alignment [48.133333356834186]
  一方のモデルにおける画像表現と他方のモデルにおける画像表現とのマッピングは、ただの線形層で驚くほどよく学習できることを示す。 固定オフザシェルフビジョンエンコーダを驚くほど強力なゼロショット分類器に無償で変換する。 概念監督なしで概念ボトルネックモデルを構築するなど、テキスト・トゥ・コンセプトの即時使用例を示す。
  論文  参考訳（メタデータ） (2023-05-10T18:01:06Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)
• Layout-to-Image Translation with Double Pooling Generative Adversarial Networks [76.83075646527521]
  入力レイアウトからフォトリアリスティックでセマンティックに一貫性のある結果を生成するための新しいDouble Pooing GAN(DPGAN)を提案する。 また,角形プールモジュール (SPM) と矩形プールモジュール (RPM) からなる新しい二重プールモジュール (DPM) を提案する。
  論文  参考訳（メタデータ） (2021-08-29T19:55:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。