論文の概要: Caved or Convinced: Temporal Sampling Gates Claim Deference in Video Large Language Models
- arxiv url: http://arxiv.org/abs/2608.03160v1
- Date: Tue, 04 Aug 2026 05:47:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.045609
- Title: Caved or Convinced: Temporal Sampling Gates Claim Deference in Video Large Language Models
- Title(参考訳): Caved or Convinced:ビデオ大言語モデルにおける時間サンプリングゲートのクレーム推論
- Abstract要約: 2つのイベントのうちどれが最初に来たかを尋ねると、ビデオモデルは2つの方法で失敗する可能性があることを示す。
事前の作業は、最初にのみ測定し、モデルの信頼性を低下させることによって緩和する。
そこで本研究では,サンプルフレームを前向きに,逆向きに評価し,クレームを読まずに解答,再サンプリング,あるいは棄却することで,モデルの順序をキャンセルするリバーサルテストを提案する。
- 参考スコア(独自算出の注目度): 19.81998459094009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When asked which of two events came first, video large language models can fail in two opposite ways: cave to a false claim, or reject a true one. Prior video sycophancy work measures only the first and mitigates it by teaching the model to trust the user less, a fix known in text and image models to worsen the second. In video, both failures come from two causes the literature treats as one: availability, whether the sparse sampled frames contain the two events, and weighting, whether that evidence is trusted over the user. We separate them with two interventions that keep the claim fixed: a frame-preserving reorder that flips the claim's truth, and a sampling-offset shift that captures or misses both events at a fixed frame budget. When the events are missed, the two twins present identical frames, so each of the nine models we evaluate accepts a true and a false claim at the same rate, making Youden's $J=0$ by construction. Availability is necessary but not sufficient. Five of the nine read the order, yet four of those five still cave to the false claim, so their deference hits a weighting ceiling. Since trust cannot be calibrated over evidence that was never sampled, we propose a reversal test that cancels the model's order prior by scoring the sampled frames forward and reversed, then answers, resamples, or abstains without reading the claim. The test raises the order accuracy to 0.92-1.00 on the models that read the order and abstains rather than guesses on those that cannot.
- Abstract(参考訳): 2つのイベントのうちどれが最初に起こったのかを尋ねると、ビデオ大言語モデルは2つの逆の方法で失敗する可能性がある。
以前のビデオ・サイコファーシー・ワークは、第1にのみ測定し、モデルの信頼性を低下させ、第2に悪化させる修正を施すことによって緩和する。
ビデオでは、両方の失敗は、可用性、スパース標本フレームが2つのイベントを含むかどうか、そして、その証拠がユーザーに対して信頼されているかどうかの2つの原因から生じる。
クレームを固定し続ける2つの介入:クレームの真実を覆すフレーム保存リオーダー、固定されたフレーム予算で両方のイベントをキャプチャまたは見逃すサンプリングオフセットシフト。
イベントが見逃されると、2人の双子は同一のフレームを持ち、評価した9つのモデルそれぞれが真と偽のクレームを同じ速度で受け入れ、ユーデンの$J=0$が建設によって作られる。
可用性は必要だが十分ではない。
9人のうち5人は命令を読んだが、5人のうち4人はいまだに虚偽の主張にこだわっているため、彼らの推論は重み付けの天井にぶつかった。
標本化されていない証拠に対して信頼度を調整できないため,本論文では,サンプルフレームを前方に評価し,逆転させた上で,クレームを読まずに回答,再サンプリング,あるいは棄却することで,モデルの順序をキャンセルするリバーサルテストを提案する。
このテストでは、注文を読んだモデルでは0.92-1.00まで精度を上げ、不可能なモデルでは推測せず、棄権する。
関連論文リスト
- Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study [2.648500779572419]
ビデオ質問応答システムは、引用フレームがサポートしていない場合でも、高信頼のタイムスタンプ付きクレームを生成することが多い。
この偽りの幻覚は、タイムスタンプが正確さを保証せず、ユーザーの信頼を増すが正確さを示さないために生じる。
検索拡張言語モデルドラフトは、評価タイムスタンプ毎の引用で回答し、各引用フレームは、ユーザに表示される前に独立して再検査される。
論文 参考訳(メタデータ) (2026-08-16T06:42:11Z) - Split the Labor: Separating Evidence Interpretation from Decision Aggregation [0.0]
言語モデルに多くの情報源から結論に達するよう要求するシステムは通常、それらを1つのプロンプトに分割する。
提案する4分野のエビデンス(仮説,信頼性バケット,合理性,証明)は,両半減期を決定することを示す。
この修正はアーキテクチャよりも算術的であり、言語モデル以外のルールのクラスに適用される。
論文 参考訳(メタデータ) (2026-08-14T17:24:55Z) - What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model [0.0]
メソッドのクラスは、独自の出力を与えて言語モデルを探索する。
我々は、その問題を鋭くするために選ばれた工事において、そのような調査がどう対処するかを尋ねる。
答えは、見た目が似ている読書において、一度に2つの異なるものを測定することだ。
論文 参考訳(メタデータ) (2026-08-11T14:40:35Z) - Instrument Effects in Language-Model Honesty Evaluation: An Auditable Single-System Demonstration [0.0]
ゲームエンジンが、どのモデルでも、クエストが完了するかどうかを知ることができるような、テキストアドベンチャーの世界を構築します。
結果が読まれる前に決定ルールが記録され、実行するアーティファクトが実行されたリビジョンにバインドされる。
プレイヤーが固定された状態で、楽器の選択は測定された振る舞いを大きく変えた。
論文 参考訳(メタデータ) (2026-07-15T22:33:53Z) - Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。
固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。
提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
論文 参考訳(メタデータ) (2026-07-13T14:22:06Z) - VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか?
VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。
ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
論文 参考訳(メタデータ) (2026-06-05T22:06:07Z) - A Universal Cliff and a Design Fingerprint: Cross-Section Defect Detection Under LLM Orchestration [0.0]
生産言語モデルシステムは、労働者エージェントの目に見えないオーケストレーションにまたがってそれを拡大する要求に答える。
これは、単一のワーカーが見ることができない欠陥のクラスに何をもたらすか尋ねる。
1人の開発者から5世代にわたる10のシステムと、異なるアライメントパラダイムからの5つのプロバイダのみです。
論文 参考訳(メタデータ) (2026-05-25T05:09:48Z) - Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。
ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。
本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
論文 参考訳(メタデータ) (2026-03-22T21:50:28Z) - Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。
Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。
この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
論文 参考訳(メタデータ) (2025-10-07T14:46:12Z) - DoubleGen: Debiased Generative Modeling of Counterfactuals [16.17990122161816]
矛盾するバイアスは、アプローチが介入を受けた人と、そうでない人との体系的な違いを説明できないときに生じます。
ミスセグメンテーションバイアスは、補助モデルの推定を通じてコンファウンディングに対処しようとするメソッドが、誤ってそれを特定しようとするときに発生する。
この2つのフレームワークは、これらのバイアスを軽減するために、生成モデリングトレーニングの目標を変更する。
論文 参考訳(メタデータ) (2025-09-20T23:42:04Z) - Movie Facts and Fibs (MF$^2$): A Benchmark for Long Movie Understanding [97.05584099530226]
MF$2$は、モデルがフル長の映画から重要な物語情報を理解し、統合し、思い出せるかどうかを評価するための新しいベンチマークである。
各ペアについて、モデルは真と偽のクレームの両方を正しく識別する必要がある。
実験の結果、オープンウェイトモデルとクローズド・オブ・ザ・アーティファクトモデルの両方が人間のパフォーマンスにかなり劣っていることがわかった。
論文 参考訳(メタデータ) (2025-06-06T17:58:36Z) - Sequential Predictive Two-Sample and Independence Testing [114.4130718687858]
逐次的非パラメトリック2サンプルテストと独立テストの問題点について検討する。
私たちは賭けによる(非パラメトリックな)テストの原則に基づいています。
論文 参考訳(メタデータ) (2023-04-29T01:30:33Z) - Double Perturbation: On the Robustness of Robustness and Counterfactual
Bias Evaluation [109.06060143938052]
テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。
この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
論文 参考訳(メタデータ) (2021-04-12T06:57:36Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。