論文の概要: DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks
- arxiv url: http://arxiv.org/abs/2610.32305v1
- Date: Fri, 23 Oct 2026 08:04:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.427308
- Title: DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks
- Title（参考訳）: DMAIC-Bench:多段階分析作業におけるエージェントの自己回帰から自己規制へ
- Abstract要約: マルチステージ分析タスクでは、エージェントが継続、リダイレクト、停止を判断する必要がある。
私たちはその能力を自己規制と呼ぶ。
DMAIC-Benchは、4つのセクターで15の産業ケースで97のシードタスクで評価している。
- 参考スコア（独自算出の注目度）: 9.633214898702414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-stage analytical tasks require LLM agents to use intermediate evidence to decide whether to continue, redirect or stop. Self-reflection, in which an agent critiques its output, is widely studied, yet a critique does not show whether evidence changed the next action. We call that capability self-restraint. Existing agent benchmarks largely measure task completion or output quality and leave it untested. DMAIC-Bench evaluates it with 97 seeded tasks across 15 industrial cases in four sectors, built around Lean Six Sigma's explicit statistical prerequisites. Paired counterfactual variants require opposite actions at the same workflow position, distinguishing warranted restraint from indiscriminate stopping. We assess execution traces with a private scorer and final claims through independent expert review. Across 13 models from six providers, execution-level routing accuracy averages 92% on matched GO decisions and 19% on NO-GO decisions, counting any forbidden downstream computation as a route error. Execution traces show agents reporting correct diagnostics before performing analyses that those results disallow. Separately, blinded expert review of the 11 audited agents estimates that reports act on invalid evidence at 47% of reached NO-GO decisions, with an interval from 31% to 61%. Explicit stopping permission helps some models without consistently restoring correct decisions at both GO and NO-GO forks. Sixteen life-sciences tasks in bulk ribonucleic acid sequencing (RNA-seq) and case-control genome-wide association studies (GWAS) show that the same framework can evaluate evidence-dependent decisions beyond industrial workflows. Project code and data are available at: https://github.com/psptpx/DMAIC-Bench-public.
- Abstract（参考訳）: マルチステージ分析タスクでは、LSMエージェントは継続、リダイレクト、停止の判定に中間的証拠を使用する必要がある。
エージェントがその出力を批判する自己回帰は広く研究されているが、証拠が次の行動を変えたかどうかを批判は示していない。
私たちはその能力を自己規制と呼ぶ。
既存のエージェントベンチマークは、タスクの完了または出力品質を主に測定し、未テストのままにしておく。
DMAIC-Benchは、Lean Six Sigmaの明確な統計的前提に基づいて、4つのセクターで15の産業ケースで97のシードタスクで評価している。
Paired counterfactual variants は同じワークフロー位置で反対のアクションを必要とし、保証された抑制と非差別的な停止を区別する。
独立した専門家レビューを通じて,個人スコアと最終クレームを用いて実行トレースを評価する。
6つのプロバイダから13モデルにわたって、実行レベルのルーティング精度は、一致したGO決定で92%、NO-GO決定で19%、ルートエラーとしてダウンストリーム計算を禁止している。
実行トレースは、それらの結果が許容できない分析を行う前に、正しい診断を報告しているエージェントを示しています。
11人の監査対象エージェントの盲目の専門家によるレビューでは、報告書はNO-GO決定の47%で無効な証拠に作用し、31%から61%の間隔で報告されている。
許可の明示的な停止は、GOフォークとNO-GOフォークの両方で正しい決定を常に復元することなく、いくつかのモデルに役立つ。
バルクリボ核酸シークエンシング(RNA-seq)およびケースコントロールゲノムワイド・アソシエーション研究(GWAS)における16の生命科学課題は、同じ枠組みが産業ワークフローを超えたエビデンス依存的な決定を評価できることを示している。
プロジェクトコードとデータは、https://github.com/psptpx/DMAIC-Bench-publicで公開されている。
関連論文リスト
- Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳（メタデータ） (2026-10-13T17:22:58Z) - Maat: Independent Deterministic Contract-Based Governance for Multi-Agent LLM Workflows [0.0]
私たちは、バージョン管理されたワークフロー契約アンカーに対してエージェントからエージェントへのハンドオフを検証するランタイムガバナンス層であるMaatを紹介します。
データレベルの欠陥を注入した6つの制御ドメイン(6～15エージェント、522トライアル)と決定論的7チェックルーブリックで評価した。
論文 参考訳（メタデータ） (2026-09-27T23:23:52Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - The Delegation Blind Spot: Auditing Product Decisions from Agent Choices [2.731113456484581]
成功したエージェントの実行は、ユーザがどの製品に価値をもたらすかを識別する必要がない。
本稿では、宣言された観察チャンネルと製品価値を、互換性のある間隔や目撃者集団と対比する決定特異的監査を提案する。
論文 参考訳（メタデータ） (2026-09-22T16:15:55Z) - MOLE: Detecting Insider Threats in AI Agents [24.05505413434997]
MOLEは、30日以上にわたって9つのステートフルサービスを共有する、150のAI運用アカウントのオープンベンチマークである。
39のエージェントモデルのうち、72%が最も割り当てられた有害な目的を完了し、エージェントの拒絶は完了を予測しない。
MOLEは、コーパスジェネレータ、可観測レベル、脅威間で40のモニターを比較することができる。
論文 参考訳（メタデータ） (2026-09-07T03:04:31Z) - When Can Fraud Operations Authorize Automation? A Decision-Support Framework for Fresh Audit Evidence and Review Workload [2.5273986395975476]
不正操作は、イベントを自動承認、アナリストレビュー、自動ブロッキングに割り当てなければならない。
我々は、自動化を行動リスク、証拠の鮮度、共有レビュー能力に制約された認可決定として扱う、新鮮度に制約された監査能力を開発する。
論文 参考訳（メタデータ） (2026-08-09T08:41:08Z) - DFAH-Bench: Benchmarking Observable Agent Instability in Financial Decision-Making [0.7699235580548228]
DFAH-Benchは、金融業者の意思決定における観測可能な行動不安定性を測定するリプレイベンチマークである。
同じツールパスに従っている間、フロンティアモデルは95%の時間で決定に合意できるのは77%に過ぎません。
入力によらず1つの出力に崩壊することでほぼ完全な一致を達成できるパターンマッチング,比較的一貫したツール使用プロセスを持つ安定した実行器,そして物質的に異なるツールパスとエビデンスコンタクトを通じて同じ結論に達する軌道分岐器の3つの挙動プロファイルを同定する。
論文 参考訳（メタデータ） (2026-06-10T03:31:09Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification [71.98473277917962]
近年のDeep Research Agents (DRA) の進歩は、自動知識発見と問題解決に変化をもたらしている。
本稿では,政策モデルのアウトプットを反復的に検証することで,エージェントの能力を自己進化させる手法を提案する。
検証の非対称性を生かしたルーブリックスに基づく結果報酬検証器であるDeepVerifierを提案する。
論文 参考訳（メタデータ） (2026-01-22T09:47:31Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。