論文の概要: Auditing Proxy-Based Validation Across Text Spans

• arxiv url: http://arxiv.org/abs/2609.25808v1
• Date: Tue, 22 Sep 2026 07:39:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.271392
• Title: Auditing Proxy-Based Validation Across Text Spans
• Title（参考訳）: テキストスパン間のプロキシに基づく検証
• Abstract要約: 評価契約としてスコア,スパン,プロキシ,ターゲット構造を宣言することで,その区別を明確にする。 プロキシベースのバリデーションクレームは、各ラベルが読み取られたスパンを宣言し、プロキシ合意の横にあるコンストラクト合意を報告し、得られたスパンをプロキシが読み取ることができる世代を解放するように要求する。
• 参考スコア（独自算出の注目度）: 0.7734726150561088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluation scores are often validated by their agreement with inexpensive proxy labels. When the score and the proxy are computed from the same text span, however, that agreement can arise from surface evidence the two share rather than from the semantic construct the proxy is meant to represent. We make the distinction explicit by declaring the score, its span, the proxy and the target construct as a validation contract, then re-evaluating that proxy rule strictly outside the scored span. In a controlled HotpotQA correctness experiment varying only the shared text boundary, the score agrees with its proxy far better than with correctness at a 50-character prefix: the gap is +0.184, collapsing to at most +0.045 from 120 characters onward. At that short prefix the score still predicts whether the answer string appears later (AUC 0.634) while an equivalence test places its agreement with correctness at chance, so the reported proxy agreement does not establish that the score ranks correctness. On OR-Bench, suppressing each model's recurring opening templates removes most of the score's association with the refusal proxy, while matched-volume deletion removes almost none and construct agreement stays at chance. Only three of eleven external contracts support the off-span control, and none of the routing studies we sampled released the generations it needs. We therefore ask that a proxy-based validation claim declare the span each label is read from, report the construct agreement beside the proxy agreement, and release the generations that let the proxy be re-read off the scored span.
• Abstract（参考訳）: 評価スコアは、安価なプロキシラベルとの合意によって検証されることが多い。 しかし、スコアとプロキシが同じテキストスパンから計算されると、この合意は、プロキシが表現しようとする意味的な構成からではなく、表面的な証拠から生じます。 スコア、スパン、プロキシ、ターゲット構成をバリデーション契約として宣言し、そのプロキシルールをスコアスパンの外で厳密に再評価することで、その区別を明確にします。 共有テキスト境界だけを変える制御されたHotpotQA正しさ実験において、スコアは50文字のプレフィックスでの正しさよりもはるかに優れたプロキシと一致し、そのギャップは+0.184となり、120文字から少なくとも+0.045に崩壊する。 その短い接頭辞において、スコアは依然として回答文字列が後で現れるかどうか(AUC 0.634)を予測し、同値テストは、偶然にその一致を正当とするので、報告されたプロキシ合意は、スコアが正当であるかどうかを定めない。 OR-Benchでは、各モデルの繰り返しオープニングテンプレートを抑えると、スコアの大部分が拒否プロキシと結びつく。 11の外部コントラクトのうち3つだけがオフスパンコントロールをサポートしています。 したがって、プロキシベースのバリデーションクレームは、各ラベルが読み取られたスパンを宣言し、プロキシ合意の横にあるコンストラクト合意を報告し、得られたスパンをプロキシが読み取ることができる世代を解放するように要求する。

関連論文リスト

• Watermarks Without Verification: AI Text Watermarking After the EU AI Act [49.51124343181601]
  EU AI法第50条では、生成可能なAIプロバイダに対して、システムが生成したコンテンツをマークし、AI生成として検出することを要求している。 Anthropicは、その日後にリリースされたすべてのClaudeモデルが、すべての生成されたテキストにSynthID-Textに基づく透かしを埋め込んでいることを公表した。 我々は、現在、異議や保証は確認できないし、この不信は、それ自体を透かしではなく、実質的なガバナンスの失敗であると論じている。
  論文  参考訳（メタデータ） (2026-09-09T01:56:17Z)
• Scoring Without the Engine: Validating a Deterministic, Manipulation-Resistant Content Score for Generative Engines, End to End [0.0]
  本稿では,プロキシの定義と選択を行うために,逆ファルシフィケーションゲート上に構築されたプロトコルを提案する。 我々は、プロキシが決定論的コンテンツスコアであるジェネレーティブエンジン最適化について、エンドツーエンドで示す。
  論文  参考訳（メタデータ） (2026-09-07T14:40:28Z)
• Zero-Knowledge Predicate Proofs Between AI Agents: A Measured, Cross-Protocol Gateway and the Source-Integrity Gap [0.0]
  マルチエージェントAIプラットフォームは、ステージングからプロダクションへ素早く移行するが、エージェントが信頼を確立する方法はまだ初歩的だ。 提案から実行システムまで,エージェント間での検証可能なデータ最小化を行う。 32ビットのしきい値述語は6.2msで証明され、608バイトのBulletproofs証明で1.0msで検証される。
  論文  参考訳（メタデータ） (2026-08-30T23:16:17Z)
• $Z^2$-ACT: End-to-End Verifiable Agentic Intent Control for Open 6G RAN [43.15181031994434]
  本稿では,ゼロ知識監査制御とゼロ信頼検証エージェントインテントアーキテクチャを提案する。 実大規模言語モデルは、オペレータの意図をIntent Contractsに変換するために、非リアルタイムパスで使用される。 その結果、動作フィルタリングと攻撃レジリエンスを適度なレイテンシとシグナリングコストで改善したことが示唆された。
  論文  参考訳（メタデータ） (2026-08-21T12:44:03Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• A Reference-Free Score for Detecting Silent Reasoning Failures in Large Language Models [1.0602247913671219]
  Reasoning Answer Faithfulness Score (RAFS) は、出力された数学的トレースが局所的に信頼できるかどうかの基準自由なインスタンスレベルの診断である。 RAFSは、ステップの妥当性、解答の推論と反ファクトの感度、解答のコンセンサス、条件付き推論安定性を組み合わせている。 RAFSは、数学的な解答精度を、サイレント推論の失敗と解答の誤りに対する監査可能な警告信号で補完することを目的としている。
  論文  参考訳（メタデータ） (2026-07-28T07:28:38Z)
• proxymate: Diagnosis and Adjustment of Proxy Estimates for Reliable Inference [39.481881531386]
  プロキシ検証と調整のためのフレームワークでオープンソースのPythonパッケージであるoxymateを紹介します。 プロキシメイトは、表現力レベル(人口的妥当性)、単位レベル(測定品質)、推定レベル(判定妥当性)、ドメインレベル(ドメイン間の輸送性)の4つのレベルに分けられる。
  論文  参考訳（メタデータ） (2026-07-27T13:19:03Z)
• Evaluating and Guarding Citation Faithfulness in Agentic Scientific Synthesis [2.7092559671391]
  OpenScholarやPaperQA2のようなエージェントLLMシステムは科学論文を読み、引用された回答を返す。 どちらもそのチェックの信頼性を監査しません。 私たちはそれが信頼できないこと、そしてこれが重要であることを示します。 本報告では,ゴールドアンコール評価プロトコルとデプロイ可能なガードについて述べる。
  論文  参考訳（メタデータ） (2026-07-10T02:05:17Z)
• When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
  LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。 判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。 大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
  論文  参考訳（メタデータ） (2026-07-09T02:46:51Z)
• Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks [40.270213696031625]
  OverEager-Genは、良質なタスクの振る舞いをオーバーイーガーするベンチマークである。 クロード・コードでは、同意宣言を削除するだけで、オーバーイーガー率は0.0%から17.1%に上昇する。 オーバーイーガー・ジェン(OverEager-Gen)は、入場前に各シナリオの識別力を認定する。
  論文  参考訳（メタデータ） (2026-05-18T16:00:41Z)
• Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
  我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。 プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
  論文  参考訳（メタデータ） (2026-01-23T17:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。