論文の概要: LeRF: Learning Reference Coordinate Frames for Perspective Taking Reasoning
- arxiv url: http://arxiv.org/abs/2609.36219v1
- Date: Mon, 28 Sep 2026 20:17:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.999209
- Title: LeRF: Learning Reference Coordinate Frames for Perspective Taking Reasoning
- Title（参考訳）: LeRF:Reasoningを取り入れたパースペクティブのための参照コーディネートフレームの学習
- Abstract要約: パースペクティブ・テイクは空間知能の基本的な構成要素であり、モデルが特定の視点から空間関係を解釈する必要がある。
本稿では、視点依存推論のための明示的な参照フレームを構築するために視覚言語モデルを訓練するフレームワークであるLearning Reference Coordinate Frames for Perspective Taking(LeRF)を紹介する。
LeRFは、そのバックボーンを継続的に改善し、既存のオープンソースメソッドに対して強力なパフォーマンスを実現している。
- 参考スコア（独自算出の注目度）: 35.43127959354391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Perspective taking is a fundamental component of spatial intelligence, requiring models interpret spatial relations from a specified viewpoint, such as that of another entity or an imagined observer. Despite the increasing spatial reasoning capabilities of Vision-Language Models (VLMs), they still struggle with perspective taking, often defaulting to the camera viewpoint when a query requires reasoning from a different perspective. We introduce Learning Reference Coordinate Frames for Perspective Taking (LeRF), a framework that trains VLMs to construct and use explicit reference frames for viewpoint-dependent reasoning. Given an image and a query, LeRF decides whether a coordinate frame is necessary. If so, it grounds the reference entity and predicts the frame's origin and entity-centered reference frame. A lightweight renderer overlays the frame onto the image, enabling subsequent reasoning over these visual cues without external perception models or explicit 3D reconstruction. To learn this process, we first perform supervised fine-tuning to teach selective tool invocation and reference coordinate frame prediction, followed by reinforcement learning on spatial VQA pairs to improve frame-guided reasoning. Across diverse perspective-taking benchmarks, LeRF consistently improves over its backbone and achieves strong performance against existing open-source methods. Further evaluations also show improved reference-frame grounding and orientation estimation, supporting the effectiveness of learned reference frames for viewpoint-dependent reasoning.
- Abstract（参考訳）: パースペクティブ・テイクは空間知能の基本的な構成要素であり、モデルが他のエンティティや想像上のオブザーバーのような特定の視点から空間関係を解釈する必要がある。
VLM(Vision-Language Models)の空間的推論能力は増大しているが、クエリが異なる視点からの推論を必要とする場合、しばしばカメラの視点にデフォルトを付けるため、視界の取扱いに苦慮している。
本稿では、視点依存推論のための明示的な参照フレームの構築と使用をVLMに教えるフレームワークであるLearning Reference Coordinate Frames for Perspective Taking(LeRF)を紹介する。
画像とクエリが与えられた後、LeRFは座標フレームが必要であるかどうかを決定する。
もしそうなら、参照エンティティを根拠にして、フレームの起源とエンティティ中心の参照フレームを予測する。
軽量レンダラーは、フレームを画像上にオーバーレイし、外部認識モデルや明示的な3D再構成なしに、これらの視覚的手がかりに対するその後の推論を可能にする。
この過程を学習するために、まず教師付き微調整を行い、選択ツールの実行と参照座標フレーム予測を教え、次いで空間VQAペアの強化学習を行い、フレーム誘導推論を改善した。
さまざまなパースペクティブテイクベンチマークを通じて、LeRFはバックボーンを継続的に改善し、既存のオープンソースメソッドに対して強力なパフォーマンスを実現している。
さらなる評価では、基準フレームのグラウンド化と方向推定の改善が示され、視点依存推論における学習基準フレームの有効性が支持された。
関連論文リスト
- ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP [82.88378269290965]
提案するReasonCLIP-58Mは,大規模推論監視をCLIPスタイルのモデルに組み込む連続事前学習フレームワークである。
我々は、ゼロショット検索性能を向上しつつ、視覚的に接地されたコモンセンスと合成推論を改善するReasonCLIPのファミリーを訓練する。
論文 参考訳（メタデータ） (2026-06-25T09:27:54Z) - PointVG-R: Internalizing Geometric Reasoning in MLLMs for Precise Pointing Localization via Visual Chain of Thought [19.680475189691965]
ポインティングに基づく視覚的グラウンドリングでは、視覚シーンとポインティングジェスチャの間の複雑な空間的関係を解読することで、ターゲットオブジェクトを正確に特定する必要がある。
推論誘導型マルチモーダル言語モデル(MLLM)であるPointVG-Rを提案する。
我々は,人間の指し示すジェスチャーを解釈する際に使用する反復的認知過程をシミュレートする,新しい幾何学的推論パイプラインを設計する。
論文 参考訳（メタデータ） (2026-06-23T13:06:51Z) - Reasoning as Intersection: Consensus-Frame Alignment for Visual Focus in Video-MLLMs [81.04673240949074]
強化学習は、大規模言語モデルの推論能力を改善した。
結果のみの報酬をビデオマルチモーダルな大規模言語モデルに適用することは、どの視覚的証拠が答えを支持するべきかを限定的なガイダンスを提供する。
本稿では,エビデンス対応ビデオ推論のための時間アノテーションフリープロセスレベル報酬フレームワークであるConsensus Frame GRPOを紹介する。
論文 参考訳（メタデータ） (2026-06-16T19:42:54Z) - Large Vision-Language Models Get Lost in Attention [51.851592109135716]
本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。
注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
論文 参考訳（メタデータ） (2026-05-07T04:45:52Z) - Improving Visual Reasoning with Iterative Evidence Refinement [41.18410988040976]
視覚言語モデル(VLM)は、画像の上に推論する能力がますます高まっている。
しかし、堅牢な視覚的推論は、基礎となる視覚的証拠において、しばしば中間的なステップを再定義する必要がある。
本稿では、内部表現による画像証拠の再挿入をモデルに訓練するエンド・ツー・エンドのセルフリビジョン・フレームワークであるSIEVEを提案する。
論文 参考訳（メタデータ） (2026-03-14T21:08:21Z) - Allocentric Perceiver: Disentangling Allocentric Reasoning from Egocentric Visual Priors via Frame Instantiation [41.434638833165494]
Allocentric Perceiverはトレーニング不要の戦略で、1つ以上の画像から、既成の幾何学の専門家でメトリクスの3D状態を復元する。
Allocentric Perceriverは暗黙の推論から明示的な計算へと精神的な回転をオフロードする。
論文 参考訳（メタデータ） (2026-02-05T15:45:39Z) - EagleVision: A Dual-Stage Framework with BEV-grounding-based Chain-of-Thought for Spatial Intelligence [10.889641815961133]
空間知能アプローチは通常、2D推論パイプラインやブラックボックス再構成モジュールを備えたMLLMに3Dキューを付加する。
本稿では,マクロ認識とマイクロ検証による進行的空間認知のためのフレームワークであるEagleVisionを提案する。
論文 参考訳（メタデータ） (2025-12-17T07:51:36Z) - Reinforcing Video Reasoning Segmentation to Think Before It Segments [67.5703457389657]
本稿では,ビデオ推論セグメンテーションのためのLVLMであるVeason-R1を紹介する。
Veason-R1 は、Chain-of-Thought trajectories を付加した Group Relative Policy Optimization (O) を通じて訓練される。
空間的アライメントと時間的整合性を高める包括的報酬機構を組み込んだ。
Veason-R1は、複数のベンチマークで最先端のパフォーマンスを達成し、先行技術を上回っている。
論文 参考訳（メタデータ） (2025-08-15T15:34:56Z) - SVQA-R1: Reinforcing Spatial Reasoning in MLLMs via View-Consistent Reward Optimization [57.484274282231226]
本稿では,R1スタイルのトレーニングを空間VQAに拡張する最初のフレームワークであるSVQA-R1を提案する。
特に,オブジェクト間の空間的関係を摂動させることで,視点に一貫性のある報酬を構成する新しいグループワイドRL戦略であるSpatial-GRPOを紹介する。
我々のモデルSVQA-R1は空間的VQAベンチマークの精度を劇的に向上させるだけでなく、教師付き微調整データを使用しなくても解釈可能な推論経路を示す。
論文 参考訳（メタデータ） (2025-06-02T06:58:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。