論文の概要: 3D-Layout-R1: Structured Reasoning for Language-Instructed Spatial Editing

• arxiv url: http://arxiv.org/abs/2603.22279v1
• Date: Mon, 23 Mar 2026 17:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.836761
• Title: 3D-Layout-R1: Structured Reasoning for Language-Instructed Spatial Editing
• Title（参考訳）: 3D-Layout-R1:言語指導型空間編集のための構造化推論
• Authors: Haoyu Zhen, Xiaolong Li, Yilin Zhao, Han Zhang, Sifei Liu, Kaichun Mo, Chuang Gan, Subhashree Radhakrishnan,
• Abstract要約: 本研究では,シーングラフ推論によるテキスト条件付き空間レイアウト編集を行う構造化推論フレームワークを提案する。 構造化された関係表現を通して推論過程を明示的に導くことにより,空間的関係の解釈可能性と制御性を向上する。
• 参考スコア（独自算出の注目度）: 57.785328880266775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) and Vision Language Models (VLMs) have shown impressive reasoning abilities, yet they struggle with spatial understanding and layout consistency when performing fine-grained visual editing. We introduce a Structured Reasoning framework that performs text-conditioned spatial layout editing via scene-graph reasoning. Given an input scene graph and a natural-language instruction, the model reasons over the graph to generate an updated scene graph that satisfies the text condition while maintaining spatial coherence. By explicitly guiding the reasoning process through structured relational representations, our approach improves both interpretability and control over spatial relationships. We evaluate our method on a new text-guided layout editing benchmark encompassing sorting, spatial alignment, and room-editing tasks. Our training paradigm yields an average 15% improvement in IoU and 25% reduction in center-distance error compared to Chain of Thought Fine-tuning (CoT-SFT) and vanilla GRPO baselines. Compared to SOTA zero-shot LLMs, our best models achieve up to 20% higher mIoU, demonstrating markedly improved spatial precision.
• Abstract（参考訳）: 大きな言語モデル(LLM)と視覚言語モデル(VLM)は印象的な推論能力を示しているが、細かいビジュアル編集を行う際には空間的理解とレイアウトの整合性に苦慮している。 本研究では,シーングラフ推論によるテキスト条件付き空間レイアウト編集を行う構造化推論フレームワークを提案する。 入力シーングラフと自然言語命令が与えられた場合、空間的コヒーレンスを維持しながらテキスト条件を満たす更新シーングラフを生成する。 構造化された関係表現を通して推論過程を明示的に導くことにより,空間的関係の解釈可能性と制御性を向上する。 本手法は,ソート,空間アライメント,部屋編集タスクを含む新しいテキスト誘導レイアウト編集ベンチマークで評価する。 トレーニングパラダイムは,CoT-SFT (Chain of Thought Fine-tuning) やバニラGRPOベースラインと比較して,IoUの平均15%改善と中心距離誤差25%低減を実現している。 また,SOTAゼロショットLLMと比較して,最大20%高いmIoUを実現し,空間精度が著しく向上した。

関連論文リスト

• Enhancing Spatial Reasoning in Vision-Language Models via Chain-of-Thought Prompting and Reinforcement Learning [0.42855555838080844]
  本研究では,視覚言語モデル(VLM)の空間的推論能力について,Chain-of-Thoughtプロンプトと強化学習を通して検討した。 モデルが解答の前に推論ステップを生成する単純なCoT形式は、モデルの本来の性能を損なう可能性がある。 対照的に、シーングラフ(SceneGraph CoT)に基づく構造化マルチステージプロンプトは空間推論の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-07-06T10:51:12Z)
• Visual Structures Helps Visual Reasoning: Addressing the Binding Problem in VLMs [9.406760867809124]
  本稿では,視覚入力構造を用いた拡張推論(VISER)を提案する。 VISERは、低レベルの空間構造を持つ視覚入力を増強する、シンプルで効果的な方法である。 私たちは、コアの視覚的推論タスクに対して、実質的なパフォーマンス改善を実証的に示します。
  論文  参考訳（メタデータ） (2025-06-27T11:44:40Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• LayoutVLM: Differentiable Optimization of 3D Layout via Vision-Language Models [57.92316645992816]
  空間的推論は人間の認知の基本的側面であり、三次元空間における物体の直感的な理解と操作を可能にする。 視覚言語モデル(VLM)のセマンティック知識を活用するフレームワークおよびシーンレイアウト表現であるLayoutVLMを紹介する。 本稿では,既存のシーンデータセットから抽出したシーンレイアウト表現を用いた微調整VLMによる推論性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-12-03T06:15:04Z)
• Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
  本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。 我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• Towards Grounded Visual Spatial Reasoning in Multi-Modal Vision Language Models [3.86170450233149]
  画像とテキストとのマッチングを訓練した大規模視覚言語モデル(VLM)では,空間的関係の微妙な理解が欠如していることが示されている。 本稿では,空間的節の認識とランク付けのための,よりきめ細かな構成的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-18T18:58:54Z)
• Language and Visual Entity Relationship Graph for Agent Navigation [54.059606864535304]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従って現実世界の環境をナビゲートする必要がある。 テキストと視覚間のモーダル関係をモデル化するための新しい言語とビジュアルエンティティ関係グラフを提案する。 実験によって、私たちは最先端技術よりも改善できる関係を利用しています。
  論文  参考訳（メタデータ） (2020-10-19T08:25:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。