論文の概要: Answering Without Arriving: An Evidence Audit for Embodied Question Answering
- arxiv url: http://arxiv.org/abs/2611.01958v1
- Date: Sun, 01 Nov 2026 14:46:18 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:23:06.69573
- Title: Answering Without Arriving: An Evidence Audit for Embodied Question Answering
- Title(参考訳): 身元不明の回答:身体的質問回答のためのエビデンス・オーディ
- Abstract要約: 身近な質問に対する答えは、エージェントにナビゲート、観察、そして何を見たのかという質問に答えるよう求めます。
もっともらしい答えは、質問、部屋のラベル、または答えの選択から得ることができ、正しい答えは、支援された観察が一度も行われたことを示さない。
本稿では,200回のテストエピソードと800の質問が経路範囲で階層化されているマルチルームベンチマークを提案する。
- 参考スコア(独自算出の注目度): 13.36507618344347
- License:
- Abstract: Embodied question answering asks an agent to navigate, observe, and then answer questions about what it saw, yet answer accuracy alone cannot tell whether any of this happened. A plausible answer can come from the question, the room label, or the answer choices, and a correct answer does not show that the supporting observation was ever made. We present a multi-room benchmark whose 200 test episodes and 800 questions are stratified by route extent, with an evaluation ladder that holds the questions fixed while varying only the evidence supplied to the answerer, from text-only probes through closed-loop agents to replay of the reference trajectory. Questions are generated from symbolic records of rooms, visible objects, and frames, so every answer can be traced to the observations that support it. A closed-loop vision-language agent reaches no target in 200 episodes yet answers 45.5% of questions, within 0.1 points of the same model given no images; replaying the reference trajectory raises the same model to 57.4%, so the evidence exists along the route but is not gathered. A family-level audit then shows that access to evidence is not the same as use of it. Four of eight families are largely answerable from text, one cites frames that cannot establish its own answer, and the oracle conditions reach 59.5% on Rooms-visited by counting the supplied images. Evidence acquisition, answer coverage, and shortcut sensitivity must therefore be established before an accuracy gain can be credited to memory.
- Abstract(参考訳): 身近な質問応答はエージェントに、それが何を見たのかをナビゲートし、観察し、質問に答えるよう求めるが、正確性だけではそのようなことが起きたかどうかを判断できない。
もっともらしい答えは、質問、部屋のラベル、または答えの選択から得ることができ、正しい答えは、支援された観察が一度も行われたことを示さない。
本稿では,200の試験エピソードと800の質問が経路範囲で階層化されているマルチルームベンチマークを提案する。
質問は、部屋、目に見える物体、フレームの象徴的な記録から生成される。
クローズドループの視覚言語エージェントは200話でターゲットに到達しないが、45.5%の回答があり、同じモデルの0.1ポイント以内に画像がない。
家族レベルの監査は、エビデンスへのアクセスがそれを使うのと同じではないことを示す。
8家族のうち4家族は、主にテキストから答えることができ、1家族は、自分自身の答えを確立できないフレームを引用し、託宣条件は、供給された画像を数えることで、Roomsで59.5%に達する。
したがって、正確なゲインがメモリにクレジットされる前に、証拠取得、回答カバレッジ、ショートカット感度を確立する必要がある。
関連論文リスト
- Same Space or Not: Benchmarking Spatial Intelligence Through Cross-View Contradictions [80.65137714222533]
スペース・アンド・ノット(Space or Not)は、クロスビューの矛盾解決のベンチマークである。
人間は83.3%の精度を達成しており、最強の視覚言語モデルでは39.7%である。
論文 参考訳(メタデータ) (2026-10-09T17:54:57Z) - Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering [13.976923689918253]
本稿では,回答基盤の整合性を評価するためにAESP(Answer-Evidence Support Protocol)を提案する。
AESPはタスク固有のルールを存在、数え、比較質問に適用する。
言語モデルによる7つの根拠付き視覚実験は、すべての質問タイプでエビデンスサポートの失敗を明らかにする。
論文 参考訳(メタデータ) (2026-10-09T14:15:50Z) - Knowing When Not to Answer: Cross-Domain and Multi-Turn Generalization of Latent Underspecification Signals [0.0]
解答不可能性は隠蔽状態から線形に退避可能であるが、どの形が表現を共有し、その信号が対話で有用であるかは定かではない。
我々は,ターンラベル付きマルチターンベンチマーク(会話423件,ラベル付きターンステート1,661件)と,明確な質問に答える模擬ユーザによる評価手法を提案する。
論文 参考訳(メタデータ) (2026-10-06T14:18:13Z) - Answer with Evidence: Consistency-Aware Grounded Visual Question Answering for Roadside Traffic Scenes [74.32863692381677]
RoadSceneVQA-Gは34.7Kの質問応答対のベンチマークである。
RoadSceneVQA-Gは34.7Kの質問応答対のベンチマークである。
論文 参考訳(メタデータ) (2026-10-04T14:48:54Z) - Does Local Video Understanding Transfer Across Encounters? The EgoGears Benchmark [73.41679841824603]
クロスビデオ精度は、局所的な知覚の失敗と観察のアイデンティティを保持する失敗を混同する。
EgoGearsは、この移行を診断するために設計された、補完的なシングルビデオとマルチビデオのベンチマークである。
論文 参考訳(メタデータ) (2026-09-29T16:20:01Z) - Relevance Is Not Sufficient Evidence: Detecting Evidence Gaps Before Generation in RAG [2.164748306809488]
Retrieval-augmented Generationは、外部ソースで大きな言語モデルを構築する。
12個の発電機が40.0-99.3%の証拠不十分な質問に答えている。
質問のすべての部分がカバーされているか、どの文が答えを提供するのか、そして、その文を一緒に読んでいる小さな言語モデルで十分な判断を下すか、という3つの信号を組み合わせてRINSEを紹介する。
論文 参考訳(メタデータ) (2026-09-27T17:39:51Z) - DementiaCare-Bench: A Modality-Validated Video Benchmark [83.92703885588868]
認知症は世界中で推定5700万人に影響を与える。
ほとんどの家族にとって、ケアの最も難しい部分は記憶喪失ではなく、認知症の行動や心理的症状である。
DementiaCare-Bench: 9つのBPSDカテゴリの94クリップに区切られた、プロのケア用トレーニングビデオ56本を提示する。
論文 参考訳(メタデータ) (2026-09-11T14:52:49Z) - Question-Aware Evidence Ledgers for Video Relational Reasoning [49.15616982043187]
我々は,強力なGPT-5.5ビデオQA解決器と疑似エビデンス台帳のセットを中心に構築されたテスト時間推論パイプラインを提案する。
パイプラインは92.95%の総合精度と93.79%のマクロ精度を達成した。
論文 参考訳(メタデータ) (2026-06-01T17:18:03Z) - Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。
この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
論文 参考訳(メタデータ) (2024-07-16T17:23:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。