論文の概要: Principled Human-AI Collaboration in Agentic Workflows

• arxiv url: http://arxiv.org/abs/2611.01566v1
• Date: Sun, 01 Nov 2026 04:47:28 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:09:32.241737
• Title: Principled Human-AI Collaboration in Agentic Workflows
• Title（参考訳）: エージェントワークフローにおけるヒューマンAIコラボレーションの原則
• Abstract要約: 我々は、AI生成された回答を検証し、複数のラウンドで修正する、専門家とブラックボックス生成バリデーションの間でタスクを委譲するフレームワークを開発する。 配備前に、人間の専門家は選択された出力を評価し、その判断は検証器の閾値と試行回数を校正するために使用される。 出力出力の誤差率の有限サンプル制御を確立し、目標の自動化率を達成するのに十分な専門家評価を特徴付け、品質マージンと要求信頼度において最小限の低い限界設定率を導出する。
• 参考スコア（独自算出の注目度）: 2.805986764620217
• License:
• Abstract: Organizations adopting AI face the challenge of deciding which outputs can be released without human review while meeting the quality standards of human experts. We develop a statistical framework for delegating tasks between experts and black-box generate-verify workflows, in which AI-generated answers are verified and revised over multiple rounds. Before deployment, human experts evaluate selected outputs, and their judgments are used to calibrate the verifier threshold and number of attempts. Our method selects the policy with the highest estimated automation rate among statistically approved candidates, without modifying the generator or verifier. We establish finite-sample control of the error rate among released outputs, characterize the expert evaluations sufficient to attain a target automation rate, and derive a minimax lower bound establishing rate optimality in the quality margin and required confidence. In a MultiHiertt financial question-answering case study, average held-out automation increases from 2.50% to 24.17% as expert evaluations accumulate, while released-output error rates remain around 1.20%. In contrast, heuristics that release answers after consistently high verifier scores either violate the 5% error tolerance or automate at most 1.30% of tasks. Synthetic experiments further examine these theoretical predictions under controlled settings.
• Abstract（参考訳）: AIを採用する組織は、人間の専門家の品質基準を満たしながら、人間のレビューなしにどのアウトプットをリリースできるかを決定するという課題に直面している。 我々は、専門家とブラックボックス生成検証ワークフローの間でタスクを委譲する統計フレームワークを開発し、AI生成された回答を複数のラウンドで検証し、修正する。 配備前、人間の専門家は選択された出力を評価し、その判断は検証器の閾値と試行回数を校正するために使用される。 提案手法は,提案手法を変更せずに,統計的に承認された候補のうち,最も高い自動化率でポリシーを選択する。 出力出力の誤差率の有限サンプル制御を確立し、目標の自動化率を達成するのに十分な専門家評価を特徴付け、品質マージンと要求信頼度において最小限の低い限界設定率を導出する。 MultiHierttの財務問題答えケーススタディでは、専門家の評価が蓄積されるにつれて、平均的持株自動化は2.50%から24.17%に増加し、リリース出力エラー率は1.20%程度である。 対照的に、一貫した高い検証結果の後に回答を解放するヒューリスティックスは5%のエラー耐性に違反するか、少なくとも1.30%のタスクで自動化する。 合成実験は、制御された条件下でこれらの理論的予測をさらに検証する。

関連論文リスト

• Reliable AI-Assisted Decisions via Selective Auditing [14.749120479949633]
  我々は、一連の意思決定を生成するAIシステムのオンラインモニタリングについて検討する。 各ラウンドにおいて、システムは提案された決定を、決定の信頼性を推定する信頼スコアと共に出力する。 この情報に基づいて、我々はAIの判断を自動で受け入れるか、あるいは人間監査官のような専門家に相談するかを決めなければならない。
  論文  参考訳（メタデータ） (2026-10-22T17:59:22Z)
• Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
  我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。 次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。 トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
  論文  参考訳（メタデータ） (2026-10-13T17:22:58Z)
• One-Sided Verification Under Limited Expert Review [81.81806589083486]
  我々は、稀な有効な解決策を優先する必要がある、限定された人間の努力の下で検証を研究する。 我々は、エラー提案とエラー検証を分離するアルゴリズムフレームワークであるOSVerifyを紹介した。 実験によると、OSVerifyは、無効なソリューションの人間レビューの数を平均46%削減している。
  論文  参考訳（メタデータ） (2026-10-13T10:10:11Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
  OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。 我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
  論文  参考訳（メタデータ） (2026-04-13T00:27:32Z)
• Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
  自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。 FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。 推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
  論文  参考訳（メタデータ） (2025-10-20T17:52:06Z)
• Uncertainty-Driven Action Quality Assessment [11.958132175629368]
  本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。 我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。 提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
  論文  参考訳（メタデータ） (2022-07-29T07:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。