論文の概要: Who Is Left of Whom? Tracing Spatial Evidence and Role Binding in Relative-Position Reasoning
- arxiv url: http://arxiv.org/abs/2609.35486v1
- Date: Mon, 28 Sep 2026 15:59:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 04:59:51.107675
- Title: Who Is Left of Whom? Tracing Spatial Evidence and Role Binding in Relative-Position Reasoning
- Title(参考訳): 誰が残るのか?相対的ポジション推論における空間的エビデンスと役割結合の追跡
- Abstract要約: 相対配置推論を支持する内部表現は、いまだに理解されていない。
本稿では,このプロセスの2つの補完的要素について検討する。
- 参考スコア(独自算出の注目度): 7.166169007252999
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High instance-level accuracy can mask inconsistencies in spatial reasoning when objects exchange positions or their roles are reversed in the query. The internal representations supporting relative-position reasoning remain poorly understood. We investigate two complementary components of this process: tracking object locations in the input and representing their query roles. Across three VLMs with visual or textual inputs and their language-model backbones, activation patching reveals a staged progression from early-layer source representations through intermediate-layer query-object representations to late-layer answer states. Targeted interventions further establish causal links along this progression: manipulating source-side representations shifts location information at query-object mentions and ultimately alters relation predictions. Beyond object-location information, we also identify a stable query-side direction associated with the roles of the two objects in the comparison. Steering along directions estimated on synthetic scenes generalizes to natural-image benchmarks, improving accuracy and both forms of paired consistency in most settings without retraining. Our findings reveal complementary components of relational reasoning across visual and textual settings and show how targeted interventions can improve the consistency of models' behavior.
- Abstract(参考訳): 高いインスタンスレベルの精度は、オブジェクトが位置を交換したり、その役割がクエリで逆になったときに、空間的推論の不整合を隠蔽することができる。
相対配置推論を支持する内部表現は、いまだに理解されていない。
本稿では,このプロセスの2つの補完的要素について検討する。
視覚的あるいはテキスト的な入力と言語モデルバックボーンを持つ3つのVLMにおいて、アクティベーションパッチは、初期層ソース表現から中間層クエリオブジェクト表現から後期層応答状態への段階的な進展を示す。
ソース側表現を操作することは、クエリオブジェクトの参照で位置情報をシフトし、最終的に関係予測を変更する。
オブジェクト位置情報以外にも、比較において2つのオブジェクトの役割に関連する安定したクエリ側方向も特定する。
合成シーンで推定される方向に沿ったステアリングは、自然画像のベンチマークに一般化し、精度を改善し、ほとんどの設定でペアの一貫性をトレーニングせずに改善する。
そこで本研究では,視覚的およびテキスト的設定における関係推論の相補的要素を明らかにし,対象とした介入がモデルの動作の整合性を改善するかを示した。
関連論文リスト
- SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。
正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。
変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
論文 参考訳(メタデータ) (2026-08-04T13:16:15Z) - RoboPIN: Grounded Embodied Reasoning via Pinned Chain-of-Thought [50.36951914894845]
身体的推論は、物理的環境におけるタスク関連オブジェクトや空間を知覚するモデルを必要とする。
現在の視覚言語モデルは、テキストのみまたはコーディネートで拡張されたチェーン・オブ・思想に依存している。
我々は、あらゆる推論ステップを視覚的証拠にピン留めする構造化推論パラダイムであるPinned Chain-of-Thoughtを提案する。
論文 参考訳(メタデータ) (2026-06-14T11:30:42Z) - TriRelVLA: Triadic Relational Structure for Generalizable Embodied Manipulation [54.81449795163812]
視覚言語アクション(VLA)モデルは、トレーニング対象のロボットタスクでうまく機能するが、見えないシーンやオブジェクトに一般化するのに苦労する。
一般化可能なエンボディ操作のための三進関係VLAフレームワークであるTriRelVLAを提案する。
実験は、微調整されたタスクにおいて強い性能を示し、クロスシーン、クロスオブジェクト、クロスタスクの一般化において明確なゲインを示す。
論文 参考訳(メタデータ) (2026-05-07T05:57:49Z) - Contextual inference from single objects in Vision-Language models [10.367669666212473]
一つのオブジェクトがどれくらいのシーンコンテキストを持つかは、人間のシーン知覚においてよく研究されている問題である。
この能力が視覚言語モデル(VLM)でどのように構成されるかはいまだに理解されていない。
本研究では,単一対象からの文脈推論の系統的・機械的解析を通じて,この問題を考察する。
論文 参考訳(メタデータ) (2026-03-20T13:24:15Z) - Mitigating Query Selection Bias in Referring Video Object Segmentation [39.39279952650532]
本稿では,参照クエリを3つの特別なコンポーネントに分解するTriple Query former (TQF)を提案する。
テキストの埋め込みにのみ依存するのではなく、我々のクエリは言語的手がかりと視覚的ガイダンスの両方を統合することで動的に構築されます。
論文 参考訳(メタデータ) (2025-09-17T06:17:23Z) - Collaborative Position Reasoning Network for Referring Image
Segmentation [30.414910144177757]
本稿では,エンティティローカライゼーションを明示的にモデル化する新しい手法を提案する。
私たちの知る限りでは、位置推論モデリングに重点を置く最初の作品です。
論文 参考訳(メタデータ) (2024-01-22T09:11:12Z) - Self-Supervised Relation Alignment for Scene Graph Generation [44.3983804479146]
シーングラフ生成性能を改善するために,自己教師付きリレーショナルアライメントの正規化を導入する。
提案されたアライメントは一般的なもので、既存のシーングラフ生成フレームワークと組み合わせることができる。
本稿では,この自己教師付きリレーショナルアライメントと2つのシーングラフ生成アーキテクチャの有効性について述べる。
論文 参考訳(メタデータ) (2023-02-02T20:34:13Z) - Position-Aware Contrastive Alignment for Referring Image Segmentation [65.16214741785633]
マルチモーダル特徴のアライメントを強化するために,位置認識型コントラストアライメントネットワーク(PCAN)を提案する。
1)自然言語記述に関連するすべてのオブジェクトの位置情報を提供する位置認識モジュール(PAM)と,2)マルチモーダルアライメントを強化するコントラスト言語理解モジュール(CLUM)の2つのモジュールで構成されている。
論文 参考訳(メタデータ) (2022-12-27T09:13:19Z) - Suspected Object Matters: Rethinking Model's Prediction for One-stage
Visual Grounding [93.82542533426766]
疑似オブジェクト間の対象オブジェクト選択を促進するため,疑似オブジェクト変換機構(SOT)を提案する。
SOTは既存のCNNとTransformerベースのワンステージ視覚グラウンドにシームレスに統合できる。
実験の結果,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2022-03-10T06:41:07Z) - Salient Object Ranking with Position-Preserved Attention [44.94722064885407]
本研究では,検出対象のランク付け順序を視覚的サリエンシに応じて割り当てるSOR(Salient Object Ranking)タスクについて検討する。
本稿では,SORタスクの最初のエンドツーエンドフレームワークを提案し,マルチタスク学習方式で解決する。
また、SORブランチ用に調整されたPPAモジュールも導入する。
論文 参考訳(メタデータ) (2021-06-09T13:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。