論文の概要: What Output-Only Review Cannot Verify: Study Contracts for Research Agents
- arxiv url: http://arxiv.org/abs/2610.11754v1
- Date: Thu, 08 Oct 2026 11:42:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.985814
- Title: What Output-Only Review Cannot Verify: Study Contracts for Research Agents
- Title（参考訳）: アウトプットオンリーレビューで検証できないこと:リサーチエージェントのための研究契約
- Abstract要約: 我々は、宣言された実験的な選択、義務の実行、記録された実行証拠の請求範囲を束縛する契約を提案する。
8つの自己証明されたクリーン/ミュートされたペアを用いた診断は、情報境界を示す。
契約チェックが最適化の下で有用な適合性補完を向上するかどうかの必要なテストとして,全情報比較,正則適応制御,閉ループエージェントの評価を同定する。
- 参考スコア（独自算出の注目度）: 10.88831138993597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Some defects in an AI-generated study can be identified from its artifacts; others require knowledge of what was approved before execution. We propose study contracts that bind declared experimental choices, run obligations and claim scope to recorded execution evidence, and distinguish this contract-relative verification from scientific truth. A diagnostic using eight self-authored clean/mutated pairs illustrates the information boundary. A deterministic checker applying a registered, fault-specific rule to approved and executed objects detected all eight registered mutations. Across eighteen recorded judge aliases given individual metadata-filtered packages without pair context or the registry-selected fault label, 104 of 144 mutated evaluation cases received defect flags; the remaining cases comprised 32 abstentions and eight terminal failures, with no explicit clean decisions on mutated cases. Some packages retained approval and execution fields, including digests. The prompt instructed judges to abstain when evidence was insufficient. These results characterize a deliberately information-asymmetric development setting; they do not isolate the effect of authoritative information from differences in task specification and rule selection, and they are not comparative verifier quality or agent reward hacking. We identify full-information comparisons, legitimate-adaptation controls and closed-loop agent evaluations as necessary tests of whether contract checks improve useful compliant completion under optimization.
- Abstract（参考訳）: AIによって生成された研究のいくつかの欠陥は、その成果物から特定することができる。
本稿では, 実験的選択を宣言し, 義務を履行し, 記録された実行証拠に対する請求範囲を限定する研究契約を提案し, この契約関連検証を科学的真理と区別する。
8つの自己証明されたクリーン/ミュートされたペアを用いた診断は、情報境界を示す。
承認および実行されたオブジェクトに対して、登録された障害固有のルールを適用する決定論的チェッカーは、8つの登録された突然変異すべてを検出した。
18例中104例が欠陥フラグを受け、残りの症例は32件の棄却と8件の端末障害で構成され、変更事例について明確な明確な決定は行われなかった。
いくつかのパッケージはダイジェストを含む承認と実行フィールドを保持していた。
このプロンプトは、証拠が不十分な時に裁判官に棄権するよう指示した。
これらの結果は、タスク仕様とルール選択の違いから権威情報の影響を分離せず、比較検証品質やエージェント報酬ハックではない、意図的に情報非対称な開発環境を特徴付ける。
契約チェックが最適化の下で有用な適合性補完を向上するかどうかの必要なテストとして,全情報比較,正則適応制御,閉ループエージェントの評価を同定する。
関連論文リスト
- Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents [0.0]
我々は,モジュールエージェントに対して,計画,行動,検査,精査を行うクレーム固有の検証監査を導入する。
エージェントをスコアする代わりに、監査はエビデンスをスコアする。
論文 参考訳（メタデータ） (2026-10-01T09:17:47Z) - When Tools Silently Lie: Evaluating and Mitigating Blind Compliance in Tool-Augmented Data Agents [0.4665390376528909]
ToxicBenchを導入し、数値、ラベル、スキーマ、検索エラーのチェックと適用を計測する。
3つのアダプタの118タスクのGPT評価では、中毒はタスク成功率を26～39ポイント低下させる。
スコアラーを凍結した後、200の軌道上の人間のアノテーションと比較し、96%のタスク・サクセス・アグリーメントが得られた。
論文 参考訳（メタデータ） (2026-09-29T09:45:17Z) - Testing and Verification of Quantum Compilers through Assurance Contracts and Evidence [0.25489046505746704]
この調査は、検証済みの変換、等価チェック、差分および変成テスト、プロパティベースのテスト、およびリビジョン間の保証の証拠を比較します。
記録されたカバレッジ更新とソースレベルの選択決定は、レビューを宣言されたスコープ内で監査可能にする。
論文 参考訳（メタデータ） (2026-09-24T01:24:49Z) - The Delegation Blind Spot: Auditing Product Decisions from Agent Choices [2.731113456484581]
成功したエージェントの実行は、ユーザがどの製品に価値をもたらすかを識別する必要がない。
本稿では、宣言された観察チャンネルと製品価値を、互換性のある間隔や目撃者集団と対比する決定特異的監査を提案する。
論文 参考訳（メタデータ） (2026-09-22T16:15:55Z) - IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - ProofPulse: Interactive Proof Coverage Analysis for Dafny [47.23158426199152]
帰納的検証は、実装がその仕様を満たすことを保証しますが、成功した検証は仕様の品質を保証しません。
本稿では,3値の証明カバレッジモデルを用いて,仕様品質を診断するDafny用ツールであるProgrampulseを提案する。
論文 参考訳（メタデータ） (2026-08-31T14:00:31Z) - From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。
生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。
本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T13:37:38Z) - Explanation-Bound Tool Execution for AI Agents: Server-Verified Action Claims Without Trusting Model Rationales [4.805352087824778]
説明境界ツール実行(Explanation-Bound Tool Execution)は、意思決定に関連する合理的なコンテンツを型付けされたアクションクレームに変換し、それらをサーバが所有するインテント、ポリシー、ペイロード、ツール、リスク、証明、新鮮な事実に対してチェックする。
我々は,この構成を明示的な調停と信頼性のある仮定の下で形式化し,最小限の監査パケットを用いたバージョン付き参照プロファイルを実装した。
論文 参考訳（メタデータ） (2026-07-28T07:16:12Z) - Bayesian control for coding agents [63.64172141184361]
本稿では,コーディングエージェントのためのコスト依存型シーケンシャル仮説テストフレームワークを提案する。
ベイズ管制官は、正確性に対する信念を維持し、より多くの証拠を集め、候補者を精査し、検証し、停止するかを決定する。
本研究では, 信頼状態が, 不確実性定量化のためのトークン確率と生ツール・サクセスベースラインを上回り, 解釈可能な正当性スコアを得ることを示す。
論文 参考訳（メタデータ） (2026-06-23T11:41:32Z) - Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。
GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。
我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
論文 参考訳（メタデータ） (2026-03-03T09:36:43Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳（メタデータ） (2026-01-23T17:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。