論文の概要: An Explicit Feedback Contract for Iterative ML-Agent Harnesses

• arxiv url: http://arxiv.org/abs/2610.28798v1
• Date: Tue, 20 Oct 2026 18:24:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.120026
• Title: An Explicit Feedback Contract for Iterative ML-Agent Harnesses
• Title（参考訳）: 反復的ML-Agent Harnessに対する明示的なフィードバック契約
• Abstract要約: MLエージェントハーネスに対する明示的なフィードバック契約を導入する。 契約は、申請書がノイズ閾値をクリアしたときのみ、検証スコアをリリースする。 フィードバックチャネルがアンバウンドされているとき、ノイズは追跡の改善を提供し続けます。
• 参考スコア（独自算出の注目度）: 6.825292138858589
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Iterative ML agents develop models by editing code, running experiments, reading a validation score, and choosing what to try next. In current harnesses this loop is served by an exact validation score returned after every attempt, which leaves the validation split open to adaptive selection. In this work, we introduce an explicit feedback contract for ML-agent harnesses, which specifies what an agent may observe, when iteration should stop, and when the test split may be touched. The contract releases a validation score only when a submission clears a noise threshold computed from the paired standard error, so no margin has to be tuned. We ran experiments on click-through-rate prediction, learning to rank, and a control task with no signal to find. The control is the sharpest case, because the true gain there is zero by construction: an agent reading exact scores ended by reporting a gain of 0.0157, while under the contract it reported 0.0033. On both real tasks the contract narrows the validation-test gap, and test performance is slightly higher rather than lower. The largest difference is in when the agents stop. Exact feedback used its entire budget of thirty submissions on two of the three tasks, including the one where nothing can be learned, while the contract halted after four to twelve. A run that exhausts its budget is usually read as diligence. It is better read as a symptom: when the feedback channel is unbounded, noise keeps supplying improvements to chase.
• Abstract（参考訳）: 反復型MLエージェントは、コードを編集し、実験を実行し、検証スコアを読み、次に試すものを選択することでモデルを開発する。 現在のハーネスでは、このループは試行錯誤後に返される正確な検証スコアによって提供され、検証分割は適応選択に開放される。 本研究では,MLエージェントハーネスに対する明示的なフィードバック契約を導入し,エージェントが観察できるもの,イテレーションが停止すべきもの,テスト分割がいつタッチされるかを指定する。 契約は、入力がペア化された標準誤差から計算されたノイズ閾値をクリアした場合のみ、検証スコアを解放するので、マージンを調整する必要はなくなる。 我々は、クリックスルーレートの予測、ランク付けの学習、信号が見つからない制御タスクについて実験を行った。 正確なスコアを読むエージェントは0.0157の利得を報告し、契約では0.0033の利得を報告した。 両方の実際のタスクにおいて、コントラクトは検証とテストのギャップを狭めます。 最大の違いは、エージェントが停止する時である。 厳格なフィードバックは、3つのタスクのうち2つに30件の予算を投入した。 予算を浪費するランは通常勤勉と読まれる。 フィードバックチャネルがアンバウンドされているとき、ノイズは追跡の改善を提供し続けます。

関連論文リスト

• Structure Before Intelligence: Gating What Agentic Scientific Workflows Release [6.637307251292465]
  エージェント的な科学ワークフローは、完了まで実行し、間違った結果をリリースすることができる。 我々は、リリース決定のような結果に対する信頼を扱います。 リスク推定は効率を向上し、その安全性を多少低い収率で31%のバリデータと一致させた。
  論文  参考訳（メタデータ） (2026-10-14T03:25:50Z)
• Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities [2.332848751256598]
  デプロイされたエージェントは、ツールコール、クエリ、およびサイレントに間違っている可能性のあるコードを出力する。 低コストのオープンウェイトサロゲートを並列に動作させることにより,損失信号の回収を行う。 エージェントと同じコンテキスト、スキーマ、提案されたアクションを読み取って、自身のログ確率からコールをスコアする。
  論文  参考訳（メタデータ） (2026-10-02T18:09:00Z)
• Can AI Agents Simulate A/B Test Outcomes? A Validation Framework for Agentic Experimentation [1.4180331276028662]
  A/Bテストは、テクノロジ業界における新機能の標準であり続けている。 AIエージェントは、行動プロファイルと介入のコンテキスト記述に基づいて、--- 実際のトラフィックをコミットする前に、候補者の処置を精査するのに十分な結果をシミュレートできますか? 我々は,この問題をEmphSimulated Randomized Controlled Trial (S-RCT) として定式化し,エージェント近似誤差をサブサンプリング誤差から分離する2層誤差分解を導出する。
  論文  参考訳（メタデータ） (2026-08-03T14:58:06Z)
• Structured Feedback Improves Repair in an LLM Agent Loop [2.8890052855500143]
  LLMエージェントは、外部から候補を拒否した後で再試行されることが多いが、検証と次のモデル呼び出しの間のインターフェースは未特定のままである。 コード制御エージェントループであるVeriHarnessを導入し、モデルが候補を生成し、外部検証者が受け入れ、予算、トレースを制御する。 生の診断と、失敗位置、観測値、許容可能な代替品を識別するフィードバックを比較します。
  論文  参考訳（メタデータ） (2026-07-15T06:14:45Z)
• Software Delegation Contracts: Measuring Reviewability in AI Coding-Agent Work [0.0]
  以前の作業では、タスク、権限、返却された作業パッケージ、受け入れコンテキストを、委譲されたコーディング作業の分析単位として記述するソフトウェア委譲契約を提案したが、その効果は測定しなかった。 本稿では,符号化エージェントの明示的デリゲート契約に関する制御されたパイロット研究について報告する。
  論文  参考訳（メタデータ） (2026-06-14T05:53:27Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
  emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
  論文  参考訳（メタデータ） (2026-05-28T09:45:47Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
  我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。 成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。 モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
  論文  参考訳（メタデータ） (2025-11-26T01:28:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。