論文の概要: One Perturbation Is Not Enough: Identifiability and Blind Baselines for Behavioral AI Evaluation

• arxiv url: http://arxiv.org/abs/2609.06190v1
• Date: Sat, 05 Sep 2026 17:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 06:36:39.994336
• Title: One Perturbation Is Not Enough: Identifiability and Blind Baselines for Behavioral AI Evaluation
• Title（参考訳）: 1つの摂動は十分ではない:行動AI評価のための識別可能性とブラインドベースライン
• Abstract要約: 映像から物理量を報告する3つの視覚言語モデルに対して,3つの摂動の完全な識別を行う。 3つのスコアは、それぞれがラウンドキャリブレーション値の小さなセットの1つにデフォルトがあるため、その上ではなく、自分のブラインドバウンドよりもはるかに低い。
• 参考スコア（独自算出の注目度）: 0.6999740786886536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Behavioral evaluations perturb an input and read the induced change in the output in order to certify that a system uses that input. We show that the number of perturbations such a certificate requires is fixed, and that reporting a single perturbation cannot supply it. Where a response ratio is a property of the policy rather than of the test items, the behavioral record is a linear measurement of an exponent vector recording how much the output depends on each input, so perturbations identify input use exactly when their logarithms span the input space. At least $n$ are needed for $n$ inputs, an incomplete design confuses precisely the policies differing along the kernel of its design matrix, and sharpening a perturbation never substitutes for adding an independent one. We also derive in closed form the score such a test awards a policy that reads nothing, which is far from zero and which none of the probes we survey reports. Instantiating this where the correct response is fixed by dimensional analysis, we run a complete identifying set of three perturbations on three vision--language models reporting a physical quantity from video. All three score far below their own blind bound rather than above it, because each defaults to one of a small set of round calibration values that never matches what the scale asserts; none moves its relabeling response by a single exponent, and none is separable from the same model instructed to ignore the video.
• Abstract（参考訳）: 動作評価は、入力を摂動させ、出力の誘導された変化を読み取って、システムがその入力を使用することを証明する。 このような証明書の要求する摂動数は固定されており、単一の摂動を報告してもそれを供給できないことを示す。 応答比がテスト項目ではなくポリシーの特性である場合、行動記録は、出力が各入力にどの程度依存するかを記録する指数ベクトルの線形測定であり、対数が入力空間にまたがる場合に正確に入力の使用を摂動が識別する。 少なくとも$n$は$n$の入力のために必要であり、不完全な設計は、設計行列のカーネルに沿って異なるポリシーを正確に混乱させ、摂動を鋭くすることは、独立したものを追加する代わりにはならない。 我々はまた、テストが何も読まないポリシーを授与するようなクローズドな形で導出します。 三次元解析により正しい応答が固定された場合,映像から物理量を出力する言語モデルを用いて,3つの摂動の完全な同定を行う。 それぞれのスコアは、スケールが主張する値と一致しない小さなラウンドキャリブレーション値の1つにデフォルトされるため、その3つのスコアは、その上よりもはるかに下にある。

関連論文リスト

• Do Influence-Derived Data Perturbations Enable Machine Unlearning? A Controlled Study of Three Plausible Roles [2.91310609286149]
  深層摂動学習(DPL)の評価 DPLの摂動は、影響に起因した方向に沿って画像やラベルを訓練する。 CIFAR-10/ResNet-18の3組の種子の直接欠失基準を破る。
  論文  参考訳（メタデータ） (2026-09-11T00:37:53Z)
• PhysWeep: Does a Video Generator Realize the Physics You Ask For? [0.8594140167290097]
  各サンプルは確実に間違った定数にロックされ、正確には確率スコアが構造的に盲目である。 PhysWeepは、固定されたラベルのない監査でそれを閉じ、冷凍発電機をブラックボックスとして扱う。
  論文  参考訳（メタデータ） (2026-09-05T17:52:46Z)
• Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
  高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
  論文  参考訳（メタデータ） (2026-08-18T09:32:03Z)
• A Probe Direction Is a Property of Its Prompt [0.0]
  テストされていると感じたときに異なる振る舞いをするモデルは、私たちが依存している評価を損なうことになります。 標準楽器は、実行しないプロンプトに対する評価をアナウンスするプロンプトのアクティベーションとは対照的である。 評価をアナウンスするプロンプト」はプロンプトではなく、多くの人にとって選択肢である。
  論文  参考訳（メタデータ） (2026-08-13T14:57:37Z)
• Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
  機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。 スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
  論文  参考訳（メタデータ） (2026-08-10T19:42:01Z)
• When Does Consensus Mean Correctness? Measuring the Agreement-Accuracy Coupling with Semantics-Preserving Re-Rendering [0.8594140167290097]
  ラベルのない信頼性信号として、摂動入力間のモデルの合意が使用される。 レンダリングは正確さと信頼性の両方で再サンプリングする。 モデル自身のクロスレンダーコンセンサスインバータを微調整する。
  論文  参考訳（メタデータ） (2026-08-06T07:08:05Z)
• Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
  ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。 答えの正しさはあらゆるレベルで問題を構成する。
  論文  参考訳（メタデータ） (2026-07-26T04:43:53Z)
• The Equilibrium Is the Initialization: Lazy Identity Collapse in Physics-Structured Deep Equilibrium Reasoning [0.0]
  深い平衡モデルは入力適応型暗黙計算を約束する。 ポート・ハミルトニアンDEQの学習的推論課題に対する注意深い研究を報告する。 標準ゼロ化アブレーションが確立され, 種子依存的な回答が得られた。
  論文  参考訳（メタデータ） (2026-07-13T05:45:35Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Benchmarking Fraud Detectors on Private Graph Data [70.4654745317714]
  現在、多くの種類の不正は、グラフ上で動く自動検出アルゴリズムによって部分的に管理されている。 データ保有者が不正検知器の開発を第三者にアウトソースしようとするシナリオを考察する。 サードパーティは、不正検出をデータ保持者に送信し、これらのアルゴリズムをプライベートデータセットで評価し、その結果を公表する。 本システムに対する現実的なプライバシ攻撃を提案し,評価結果のみに基づいて個人データの匿名化を可能にする。
  論文  参考訳（メタデータ） (2025-07-30T03:20:15Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。