論文の概要: Rendering-Free Lookahead for Question-Guided Active Vision

• arxiv url: http://arxiv.org/abs/2610.11039v1
• Date: Thu, 08 Oct 2026 00:45:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.716819
• Title: Rendering-Free Lookahead for Question-Guided Active Vision
• Title（参考訳）: Rendering-free Lookahead for Question-Guided Active Vision
• Abstract要約: アクティブロボットビジョンは、現在の視点から隠されたタスク関連情報を明らかにするためにカメラを制御する必要がある。 視点に依存した質問応答では、質問に答えるために必要な視覚的証拠を明らかにするカメラの動きを選択することが課題である。 提案するRFL(Rendering-Free Lookahead, Rendering-Free Lookahead)は、将来の応答可能性を予測することで、候補カメラの動きをランク付けする視点選択ポリシーである。
• 参考スコア（独自算出の注目度）: 42.7179915755079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active robot vision requires controlling the camera to reveal task-relevant information that is hidden from the current viewpoint. For example, determining what is inside a box may require raising the camera and looking down into it. For viewpoint-dependent question answering, the challenge is to select camera motions that expose the visual evidence needed to answer the question. Although vision-language models (VLMs) can interpret observed images, selecting such motions requires anticipating the usefulness of unseen views. We quantify this usefulness as answerability, a VLM's estimate that a view suffices to answer the question, and present Rendering-Free Lookahead (RFL), a viewpoint-selection policy that ranks candidate camera motions by predicted future answerability. RFL transfers visual lookahead from deployment to offline training. At training, a privileged teacher renders candidate future views in 3D Gaussian Splatting (3DGS) scenes and uses a frozen VLM to compute one- and two-step answerability targets. Through two-stage distillation, a student learns to predict these action values from the question, recent visual observations, and a candidate camera motion. At deployment, RFL uses these predicted values to select camera motions without rendering future views. On 377 E3VS-Bench test episodes in unseen environments, RFL improves the mean judge score by 43\% over a direct-action baseline using the same VLM. These results support learning camera-control policies from privileged visual lookahead for viewpoint-dependent question answering.
• Abstract（参考訳）: アクティブロボットビジョンは、現在の視点から隠されたタスク関連情報を明らかにするためにカメラを制御する必要がある。 例えば、箱の中にあるものを決定するには、カメラを上げて見下す必要があるかもしれない。 視点に依存した質問応答では、質問に答えるために必要な視覚的証拠を明らかにするカメラの動きを選択することが課題である。 視覚言語モデル(VLM)は観察されたイメージを解釈できるが、そのような動きを選択するには、目に見えないビューの有用性を予測する必要がある。 本稿では,この解答可能性としての有用性を定量化するとともに,今後の解答可能性を予測する視点選択ポリシーであるRendering-Free Lookahead(RFL)を提示する。 RFLは、視覚的なルックアヘッドをデプロイメントからオフライントレーニングに転送する。 訓練中、特権教師は3Dガウス・スプレイティング(3DGS)のシーンで将来の候補のビューをレンダリングし、凍結されたVLMを使用して1段階と2段階の回答可能性の目標を計算する。 2段階の蒸留を通じて、学生はこれらのアクション値の予測を、質問、最近の視覚的観察、および候補となるカメラの動きから学習する。 デプロイメントでは、これらの予測値を使用して、将来のビューをレンダリングすることなく、カメラモーションを選択する。 377のE3VS-Benchテストエピソードにおいて、RFLは、同じVLMを用いたダイレクトアクションベースラインに対して平均判定スコアを43倍改善する。 これらの結果は、視点に依存した質問応答のための特権的な視覚的見地からのカメラ制御ポリシーの学習を支援する。

関連論文リスト

• Thinking with Cameras: Active Visual Reasoning via Dynamic Viewpoint Control for Surveillance Video Understanding [27.715058333490447]
  我々はカメラで考えるための新しいフレームワークCamVLMを紹介した。 CamVLMにより、LVLMは動的視点制御により視覚的証拠を積極的に取得できる。 データセット、モデル、コードはhttps://github.com/xiaozhang79/CamVLM.comで公開されます。
  論文  参考訳（メタデータ） (2026-09-06T08:48:02Z)
• Where to Look Matters: Learning Influential Views for VLM-based 3D Visual Grounding [20.234831906157154]
  IVSは、VLMベースの3DビジュアルグラウンドのためのInfluential View Selectionを学習するフレームワークである。 IVSは既存のゼロショットパイプラインよりも基底精度を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2026-09-04T05:17:38Z)
• VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning [133.66021945481876]
  本稿では,視覚的推論生成をネイティブに制御可能にするテストベッドであるVBVR-Proを紹介する。 VBVR-Proは、視覚的推論を300の手続き的に生成されたタスク空間に変換する。 VLM-as-a-judgeパラダイムの繰り返し発生する障害モードを同定する。
  論文  参考訳（メタデータ） (2026-08-26T17:59:51Z)
• Where Does the Answer Come From? Benchmarking View-Level Visual Evidence Identification in Multi-View MLLMs for Autonomous Driving [12.905518450115906]
  本稿では,エビデンス・ソース識別評価のための多視点視覚質問応答ベンチマークを提案する。 ベンチマークには、73のシーンから122のコンフリクト中心の質問回答ペアが含まれている。 ビジュアルソースの識別を回答の正しさから明確に分離することで、ベンチマークは回答のみの評価が見逃す基礎的な失敗を露呈する。
  論文  参考訳（メタデータ） (2026-06-08T15:39:06Z)
• CoV: Chain-of-View Prompting for Spatial Reasoning [64.77921266428824]
  CoV(Chain-of-View)は、視覚言語モデルをアクティブな視点推論子に変換する。 我々はOpenEQA上でのCoVの評価を行い、Qwen3-VL-Flashで最大13.62%向上したLLM-Matchで平均+11.56%改善した。
  論文  参考訳（メタデータ） (2026-01-08T17:59:42Z)
• Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection [26.020338338880034]
  本稿では、現在の画像の視覚情報のみを用いて、最も情報性の高い次の視点を選択するタスクである、視覚的接地型アクティブビュー選択(VG-AVS)を紹介する。 提案手法は,視点選択に基づく強い質問応答性能を実現し,合成シーンや実シーンに頑健に一般化する。
  論文  参考訳（メタデータ） (2025-12-15T12:04:26Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Learning to Select Camera Views: Efficient Multiview Understanding at Few Glances [59.34619548026885]
  本稿では,対象物やシナリオを所定のビューから分析し,処理に最適なビューを選択するビュー選択手法を提案する。 提案手法は,MVSelectという強化学習に基づくカメラ選択モジュールを備えており,ビューの選択だけでなく,タスクネットワークとの協調トレーニングも容易である。
  論文  参考訳（メタデータ） (2023-03-10T18:59:10Z)
• See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning [60.43585179885355]
  本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。 IPVRには3つのステージがある。 我々は,知識に基づく視覚的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-01-12T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。