論文の概要: What Lies Beyond Perception: A Partition Theory of the Limits of AI Evaluation and Oversight
- arxiv url: http://arxiv.org/abs/2610.30803v1
- Date: Thu, 22 Oct 2026 06:28:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.237562
- Title: What Lies Beyond Perception: A Partition Theory of the Limits of AI Evaluation and Oversight
- Title（参考訳）: 知覚を超えたもの:AI評価と監視の限界の分割理論
- Abstract要約: 我々は、評価理論を一つの原理から発展させ、判断は知覚によって拘束される。
我々は,評価器が認識する応答を入力と同一とみなすエコーテストを定義し,評価器が評価できるテストに完全であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Replacing the judge can move a benchmark score, and models can be trained to hide capabilities. Both put the evaluator in question: what can it certify? We develop a partition theory of evaluation from one principle: judgement is bounded by perception. An agent's discrimination is the partition of its inputs into classes it cannot tell apart. Discrimination is necessary for capability but not sufficient, so bounds on it bear directly on whether evaluation can show that a model lacks an ability. We prove a one-sided bound. An examinee whose partition refines its evaluator's has the discrimination to pass every test the evaluator can grade, provided each input has an acceptable reply. We define the echo test, which accepts any reply the evaluator perceives as identical to the input, and show that it is complete for the tests the evaluator can grade. Passing therefore certifies at most a floor on discrimination, never a ceiling, and only a sharper evaluator can raise it. Used to detect concealment, echo-test failure points the wrong way: under exhaustive probing it flags every honestly weaker examinee and no concealer that presents as the evaluator's peer. Exact imitation of a weaker model is undetectable by any behavioural evaluator. We extend the bound to ensembles of monitors and to channels a model controls, explain published findings on judge disagreement and sandbagging, and derive testable predictions. A safety case that argues from behavioural evaluation alone that a model lacks an ability must assume the model's cooperation.
- Abstract（参考訳）: 審査員をリプレースすればベンチマークスコアを移動でき、モデルをトレーニングして機能を隠せる。
どちらも評価対象に疑問を呈している。
我々は、評価の分割理論を一つの原理から発展させ、判断は知覚によって拘束される。
エージェントの識別は、区別できないクラスへの入力の分割である。
識別は能力には必要だが十分ではないため、モデルに能力がないことを示すかどうかを直接的に判断できる。
私たちは一方的な境界を証明します。
分割が評価器を洗練させる試験員は、各入力が許容できる応答を持つ場合、評価器が評価器を格付けできる全てのテストに合格する判断を下す。
我々は,評価器が認識する応答を入力と同一とみなすエコーテストを定義し,評価器が評価できるテストに完全であることを示す。
したがって、通過は少なくとも1フロアの差別の証明であり、天井にはならず、より鋭い評価者だけがそれを引き上げることができる。
隠蔽やエコーテストの失敗を誤った方法で検出するために使用される: 徹底的に探すと、すべての検査が誠実に弱くなり、評価者の仲間として提示される隠蔽装置が存在しない。
弱いモデルの厳密な模倣は、どんな行動評価器でも検出できない。
我々は、モニターのアンサンブルと、モデル制御のチャネルに制限を広げ、裁判官の不一致とサンドバッグングに関する発表結果を説明し、検証可能な予測を導出する。
行動評価だけでは、モデルには能力がないという安全ケースは、モデルの協力を前提とする必要があります。
関連論文リスト
- A Low Grounding Score Is Not an Ungrounded Judge: Identifying the Perceptibility Confound in Multimodal Oversight [0.8594140167290097]
画像側の反事実スコアを単独で報告すべきでないことを示す。
画像上の検出プローブが上部にバウンドし、その誤報を認証し、実行に余分な費用がかからない。
論文 参考訳（メタデータ） (2026-09-09T05:55:25Z) - Competence, Not Accuracy: A Diagnostic for Reference-Free Judge Gates in Skill Optimization [9.9751102700286]
テキスト空間スキル最適化は、自然言語スキルドキュメントを進化させ、検証ゲートを介して各候補を受け入れることで凍結エージェントに適応する。
審査員をループに配置する前に、そのスコアが不正な回答とは全く違うかどうかを判断できますか?
我々は、基準のない裁判官を潜在問題解決者として定式化し、その評決は、その結論と一致しているので、評価する能力は解決する能力によって制限される。
我々は、もし能力が床の近くにあり、その上に使用可能な場合、偶然に差別性を見出す。
論文 参考訳（メタデータ） (2026-08-19T09:19:23Z) - HarnessEval-W: Agentifying the Evaluation of Visual Worlds [149.63310396189317]
HarnessEval-Wは、世界モデルのベンチマークのためのエージェント化された評価パイプラインである。
HarnessEval-Wは固定ルーブリックを適用するのではなく、評価問題を測定可能なサブプロブレムに分解する。
330件の評価事例に対して,HarnessEval-Wを18の代表的な世界モデルに適用した。
論文 参考訳（メタデータ） (2026-08-17T17:43:24Z) - What AI Red-Team Evaluations Can and Cannot Prove [0.0]
AIモデルのレッドチーム評価は、いくつかのクレームをサポートし、他のクレームをサポートしておらず、両者の境界は計算可能である。
我々は、評価の明確な天井を、ある結果が一定の試験予算の下で信念を移動できる最大の要因として定義する。
計算可能なハーフレートを超えると、控えめな大きさのベンチマークは、あるカテゴリーを明示的な基準に認定する。
論文 参考訳（メタデータ） (2026-07-23T18:34:12Z) - LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation [79.03892269184145]
LivingArenaは自動汚染耐性評価フレームワークである。
モデルは質問を交互に提案し、相手が正しく答えられないアイテムを提示する。
質問者は、相手の知識境界を積極的に特定し、活用することが奨励される。
論文 参考訳（メタデータ） (2026-06-19T06:20:58Z) - Making AI-Assisted Grant Evaluation Auditable without Exposing the Model [0.0]
本稿では,遠隔検定による要求の整合を支援するTEEアーキテクチャを提案する。
このアーキテクチャにより、外部検証者はどのモデル、ルーブリック、プロンプトテンプレート、入力表現が使われたかをチェックすることができる。
我々は、秘密のAI推論、証明可能なAI監査、ゼロ知識機械学習、アルゴリズムのアカウンタビリティ、AI支援ピアレビューに対する設計を位置付ける。
論文 参考訳（メタデータ） (2026-04-28T04:10:04Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - A Sober Look at the Unsupervised Learning of Disentangled
Representations and their Evaluation [63.042651834453544]
モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。
異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。
以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
論文 参考訳（メタデータ） (2020-10-27T10:17:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。