論文の概要: VisualTrust: Video Reasoning under On-Screen Claim Framing
- arxiv url: http://arxiv.org/abs/2610.21159v1
- Date: Thu, 15 Oct 2026 03:20:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.157097
- Title: VisualTrust: Video Reasoning under On-Screen Claim Framing
- Title(参考訳): VisualTrust: スクリーン上のクレームのフレームでビデオのリアクション
- Abstract要約: 我々は,主張推論,マルチモーダルな大規模言語モデルにおいて,画面上の主張が矛盾する視覚的証拠を覆す傾向について検討する。
私たちは、14のクレームファクトクラスで5,063ケースの反ファクトベンチマークであるVisualTrustを紹介します。
3つのプロプライエタリなモデルの500本のビデオでは、47.2--64.0%から81.8--85.2%まで誤解を招くクレームの下で精度を高め、34.4--50.8%から11.6--15.0%までトラップ・アンサーの選択を減らす。
- 参考スコア(独自算出の注目度): 20.237432350204845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-screen text can describe what a video shows, or it can frame what the video is supposed to mean. Current benchmarks treat both alike, testing whether a model can read the text rather than whether it should trust it. We study claim deference, multimodal large language models' tendency to let an on-screen claim override conflicting visual evidence. We introduce VisualTrust, a counterfactual benchmark with 5,063 cases across 14 claim-fact classes. Each case pairs a question with three versions of the same video: one with no claim, one with an accurate claim, and one with a misleading claim that alters a single grounded fact. The option the misleading claim supports is the trap answer. Across seven open-weight and four proprietary models, mean accuracy falls from 90.1% without a claim to 51.9% with a misleading claim. Among initially correct responses, 42.8% flip to the trap answer and only 0.6% become other errors. Strong no-claim accuracy does not ensure resistance. We also introduce DEAR (Decoupled Evidence Arbitration and Reading), a training-free agent for video question answering that separates evidence arbitration from reading. An independent check reports conflicting evidence, a selector weighs it without a fixed modality priority and blinds what it withholds, and the reader answers from the resulting video in a fresh context. On 500 videos across three proprietary models, DEAR raises accuracy under misleading claims from 47.2--64.0% to 81.8--85.2% and reduces trap-answer selection from 34.4--50.8% to 11.6--15.0%, while preserving no-claim accuracy.
- Abstract(参考訳): 画面上のテキストはビデオの表示を記述できるし、ビデオの意味をフレーム化することもできる。
現在のベンチマークも同様に扱い、モデルを信頼すべきかどうかではなく、テキストを読むことができるかどうかをテストする。
我々は,主張推論,マルチモーダルな大規模言語モデルにおいて,画面上の主張が矛盾する視覚的証拠を覆す傾向について検討する。
私たちは、14のクレームファクトクラスで5,063ケースの反ファクトベンチマークであるVisualTrustを紹介します。
ひとつはクレームのないもの、一つは正確なクレームを持つもの、もう一つは根拠のある事実を変える誤解を招くクレームを持つもの。
誤解を招くクレームがサポートするオプションは、トラップ回答です。
7つのオープンウェイトと4つのプロプライエタリモデルにおいて、平均精度は、誤解を招くクレームで51.9%のクレームなしで90.1%から低下する。
当初正しい応答のうち、42.8%がトラップ応答に切り替え、0.6%だけが他のエラーとなる。
強いno-claim精度は抵抗を保証しない。
DEAR(Decoupled Evidence Arbitration and Reading, Decoupled Evidence Arbitration and Reading)も紹介する。
独立したチェックは、矛盾する証拠を報告し、セレクタは、固定されたモダリティの優先順位なしでそれを量り、それが保持するものを無視し、読み手は、結果のビデオから新しい文脈で回答する。
3つのプロプライエタリなモデルにわたる500本のビデオでは、DEARは47.2--64.0%から81.8--85.2%まで誤解を招くクレームの下で精度を高め、34.4--50.8%から11.6--15.0%までトラップ・アンサーの選択を削減した。
関連論文リスト
- Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence [80.50208364251552]
我々は,映像推論を統一されたエージェントエビデンスとして定式化するOpen-o3-Video-v2を紹介する。
そこで我々は,STGR-v2-CoT135KとSTGR-v2-RL-13Kを用いた強化学習を行った。
V-STaRでは、Open-o3-Video-v2-4Bが40.4% mAMと56.3% mLGMを獲得し、それぞれQwen3-VL-4Bのバックボーンを8.5%、12.6%上回った。
論文 参考訳(メタデータ) (2026-10-13T03:36:33Z) - Have I Seen Enough? Frozen Video-Language Models Encode Evidence Readiness [14.606133970882352]
凍結したビデオLLMは、タイムスタンプ付きエビデンスからラベル付けされた線形可読なエビデンス可読性信号を持つことを示す。
我々は、読み出しを、一致したビデオ時間で最大9.75ppの精度を向上する回答最適化ポリシーであるレディティーゲーティングに変換する。
論文 参考訳(メタデータ) (2026-10-06T15:43:04Z) - Reading Is Not Leaking: Local, Auditable Measurement and Reduction of Inference Exposure from Public Footprints [0.0]
ターゲットのプライベートな真実に対する推論システムが、どれだけの頻度で記録を読み取るかを示す。
16の合成企業に対する128の質問では、質問のほぼ半分が6人の読者によって正しく答えられることはない。
我々の分析装置は、規則と統計解法と、106M-パラメータエンコーダをスクラッチから訓練し、冗長な証拠をマークし、テキストを決して生成しない。
論文 参考訳(メタデータ) (2026-09-26T12:40:35Z) - MedQA-MM: Shortcuts Behind Medical Visual Reasoning [45.333881843709804]
ベンチマークスコアは最終回答を信用するが、アイテムが答えられるルートではない。
医用マルチモーダル多重選択質問(MCQ)では、適切な回答が意図された画像発見によって支持されるため、この区別が重要である。
ここでは、ルートは、モデルの隠れた認識に関するクレームではなく、回答の選択をサポートすることができる観測可能な入力パスである。
論文 参考訳(メタデータ) (2026-09-03T01:40:19Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳(メタデータ) (2026-08-24T17:13:25Z) - Caved or Convinced: Temporal Sampling Gates Claim Deference in Video Large Language Models [19.81998459094009]
2つのイベントのうちどれが最初に来たかを尋ねると、ビデオモデルは2つの方法で失敗する可能性があることを示す。
事前の作業は、最初にのみ測定し、モデルの信頼性を低下させることによって緩和する。
そこで本研究では,サンプルフレームを前向きに,逆向きに評価し,クレームを読まずに解答,再サンプリング,あるいは棄却することで,モデルの順序をキャンセルするリバーサルテストを提案する。
論文 参考訳(メタデータ) (2026-08-04T05:47:44Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳(メタデータ) (2026-07-29T15:55:31Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳(メタデータ) (2026-05-21T17:42:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。