論文の概要: Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation
- arxiv url: http://arxiv.org/abs/2610.03826v1
- Date: Fri, 02 Oct 2026 09:13:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:59:07.388149
- Title: Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation
- Title（参考訳）: 予測測定は可能か? : プロシージャ映像評価における予備的情報の検討
- Abstract要約: 予測モデルのみでなく,評価プロトコルによってライセンスされた推論を監査する。
プロトコルは、特権のある中間表現を供給しながら、時間的に因果関係を保つことができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Benchmark scores license claims about the capabilities being evaluated. We audit the inference licensed by an evaluation protocol, rather than the predictive model alone. Using procedural action anticipation as a controlled case study, we study a broader evaluation-validity failure mode: a protocol can remain temporally causal and free of classical target leakage while still supplying a privileged intermediate representation. The failure is not merely optimistic accuracy, but a mismatch between the capability claimed and the construct actually measured. On Breakfast, matched recognizer-history and GT-history regimes score 30.3% and 62.3% (Delta_PH(R_BA) = +32.0, 95% Student-t interval [+24.1, +39.8]). A fixed-checkpoint 2 x 2 intervention isolates a +14.6-point test-time oracle contrast; a matched no-video provenance probe yields a +26.8-point gap; and a boundary-independent query/history control retains a +19.4-point gap. We refer to this discrepancy as a privileged-information gap, defined relative to a specified non-oracle recovery pipeline, and propose a reusable four-condition audit. Across five evaluation settings the gap is heterogeneous; a standard 50 Salads long-term-anticipation re-implementation provides cautious support beyond the audit-specific next-action construction.
- Abstract（参考訳）: ベンチマークは、評価される機能に関するライセンスの主張をスコアする。
予測モデルのみでなく,評価プロトコルによってライセンスされた推論を監査する。
プロシージャアクション予測を制御ケーススタディとして用い,より広範な評価正当性障害モードについて検討した。
失敗は単なる楽観的な精度ではなく、要求された能力と実際に測定された構造との間のミスマッチである。
Breakfastでは、マッチした認識史とGT履歴は30.3%、62.3%である(Delta_PH(R_BA) = +32.0、95%の学生-t間隔 [+24.1, +39.8])。
固定チェックポイント2 x 2の介入は+14.6ポイントのテストタイムのオラクルコントラストを分離し、マッチしたビデオ前兆プローブは+26.8ポイントのギャップを生じ、境界非依存のクエリ/履歴制御は+19.4ポイントのギャップを保持する。
我々は、この不一致を、特定の非オーラルリカバリパイプラインに対して定義された特権情報ギャップとみなし、再利用可能な4条件監査を提案する。
標準的な50サラダの長期予測の再実装は、監査固有の次のアクション構築以上の慎重な支援を提供する。
関連論文リスト
- Inquesto Score: A reliability Protocol For Voice Agents [53.4810159595586]
Inquesto Score(IS)は、音声エージェントの信頼性を、固定バージョン評価集団における呼び出しの割合として測定するプロトコルである。
タイミングの失敗、セマンティック、および状態依存の失敗は、シナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。
Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。
論文 参考訳（メタデータ） (2026-09-24T20:07:53Z) - TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction [48.104261148149654]
TimeLitmusは、イベント条件付き時系列予測における相互理解と忠実さの説明のための診断ベンチマークである。
TimeLitmusには財務と交通の計4,856件の評価記録がある。
論文 参考訳（メタデータ） (2026-09-21T14:38:49Z) - Counterfactual Tool Ranking under Utility, Cost, and Privilege Constraints [7.504639516424482]
本研究は、新しいDR推定器、公式BFCLリーダーボードスコア、プロダクションエージェント安全クレームではなく、偽造可能な評価方法であり、独立した公的証拠である。
不一致保存フォールバックは、5つのサポートギャップ実行すべてでこの特性を達成するが、保守的なサンプリング境界はデプロイメントの改善を証明しない。
2つのピン付きローカルQwen2.5モデルは、同じ200の保持タスクで評価され、固定プロンプトの下での強い失敗が露呈する。
論文 参考訳（メタデータ） (2026-09-19T06:40:09Z) - When Validation Stops Learning: Auditing Update Admission for Continual Embodied Agents [8.579680185421324]
更新の受け入れは、エラー制御と学習機会の維持によって評価されなければならない、と我々は主張する。
標準対二項構成は、結果の不一致が稀な場合、この負担を軽減する。
学習力学のストレステストは、モデルバイアスとフィードバック選択誤差を区別する。
論文 参考訳（メタデータ） (2026-09-09T22:25:16Z) - Two tests of phase-structure features for transition prediction [0.0]
本報告では, 2つの設定において, 位相特性が統合ベースライン上での終端予測を改善するか否かを検討する。
研究1は、封印されたスコアの前に矛盾カテゴリーパイプラインを凍結する。
研究2では,1,415の回答-変化比較と20の繰り返し,5倍の群によるクロスバリデーションを用いて,ブロックb0-b4に対する15の治療法を開発した。
論文 参考訳（メタデータ） (2026-08-31T20:29:18Z) - Verification-Time Dependency on a Disappearing Evaluator [0.0]
本稿では,Execution Governance (EG) 3.0から派生した3つの検証時間構造について述べる。
EG(Decision-State Commitment, Independent Verifiability, Counterfactual Auditability)。
論文 参考訳（メタデータ） (2026-08-30T17:17:32Z) - Best Friends, Not Forever: Evaluating Long-Horizon Persona Collapse and Behavioral Drift in AI Companions [34.277389276831435]
本研究では,2つの長期的障害について検討する。「人的崩壊」,展開された役割の喪失,境界,値,スタイル,および「行動漂流」である。
本稿では,人的行為とトラジェクティブリコールを別々に計測する制御型総合監査システムANCHORを紹介する。
この研究には、27人のペルソナにまたがる2,008の会話、9つのインタラクションスケジュール、3つの生成されたメモリ設定、そして4つの評価モデルが含まれている。
論文 参考訳（メタデータ） (2026-07-30T20:18:39Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。
我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。
実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
論文 参考訳（メタデータ） (2024-04-04T11:32:03Z) - Evaluating AI systems under uncertain ground truth: a case study in dermatology [43.8328264420381]
不確実性を無視することは、モデル性能の過度に楽観的な推定につながることを示す。
皮膚状態の分類では,データセットの大部分が重大な真理不確実性を示すことが判明した。
論文 参考訳（メタデータ） (2023-07-05T10:33:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。