Fugu-MT 論文翻訳(概要): Distilling Expert Judgment at Scale

論文の概要: Distilling Expert Judgment at Scale

arxiv url: http://arxiv.org/abs/2610.33233v1
Date: Fri, 23 Oct 2026 19:36:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 22:27:13.277763
Title: Distilling Expert Judgment at Scale
Title（参考訳）: スケールで専門家の判断を蒸留する
Abstract要約: 本稿では,専門家の判断を大規模に行う自動評価システムに蒸留する方法を提案する。提案手法はドメインエキスパートのネットワークを集約し,結論だけでなく推論プロセスも抽出する手法を開発する。第1のアプリケーションドメインとして,AIニュースレポートの方法論を検証する。
参考スコア（独自算出の注目度）: 3.390056800586011
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Frontier AI models are increasingly deployed on topics where the stakes are high and expert judgment is required, including healthcare, defense, finance, governance, and politics. We present a general methodology for distilling expert human judgment into automated evaluation systems that operate at scale. Our approach assembles networks of domain experts and develops techniques for extracting not just their conclusions but their reasoning processes, encoding those processes into structured editorial standards that automated judges can apply continuously. We ground our approach in a long tradition of research on the nature of expertise and the conditions under which expert judgment is reliable and more effective than other approaches, and argue that independent, expert-calibrated evaluation is necessary not only on epistemic grounds but as a matter of accountability and public trust. We validate the methodology on AI news reporting as a first application domain. On source quality, two independent domain experts achieve Krippendorff's $α= 0.83/0.69$ on a held-out test set when applying the editorial standards, and our automated judge reaches $F1 = 0.81/0.97$ against expert consensus. On neutrality, experts achieve $α= .72$ on the test set, and the automated judge reaches $F1 = 0.86$ against expert consensus. Additionally, a controlled comparison shows that expert-calibrated judges substantially outperform uncalibrated frontier models on every source-quality metric, demonstrating that encoding expert reasoning is the critical step that prompt engineering alone cannot replace. We present this benchmark as a proof of concept for a broader evaluation infrastructure applicable to any domain where judgment matters and expertise is scarce.
Abstract（参考訳）: フロンティアAIモデルは、リスクが高く、医療、防衛、金融、ガバナンス、政治など、専門家による判断を必要とするトピックに、ますます多くデプロイされている。本稿では,専門家の判断を大規模に行う自動評価システムに蒸留する方法を提案する。提案手法は, ドメイン専門家のネットワークを組み立て, 結論だけでなく推論プロセスも抽出し, 自動審査員が継続的に適用可能な構造化編集基準に符号化する手法を開発した。我々は,専門性や専門的判断が他のアプローチよりも信頼性が高く,有効である条件に関する長い研究の伝統にアプローチを根ざし,独立した専門的校正評価はてんかんの根拠だけでなく,説明責任や公的な信頼の問題として必要であると主張する。第1のアプリケーションドメインとして,AIニュースレポートの方法論を検証する。 2人の独立したドメインエキスパートが編集基準を適用した場合、Krippendorffのα=0.83/0.69$を保留テストセットで達成し、我々の自動審査員は専門家の合意に反してF1 = 0.81/0.97$に達する。中立性では、専門家はテストセットで$α= .72$を獲得し、自動化された審査員は専門家の合意に対して$F1 = 0.86$に達する。さらに、制御された比較では、専門家の校正された審査員は、すべてのソース品質の指標において、未校正フロンティアモデルを大幅に上回っており、専門家の推論を符号化することが、エンジニアリングのみに取って代わることができない重要なステップであることを証明している。本ベンチマークは,判断や専門知識が乏しい領域に適用可能な,より広範な評価インフラのコンセプト実証として提案する。

関連論文リスト

NewsBench: Expert-Grounded Evaluation of Epistemic Quality in AI News Reporting [3.390056800586011]
NewsBenchはソース品質、事実性、中立性の3次元にわたって品質を運用する。我々は,人間の専門家間の信頼関係と,3次元にわたるAI判断-人間合意の両方を報告する。
論文参考訳（メタデータ） (2026-10-23T19:43:19Z)
FinAutoRubric: Expert-Guided Automatic Rubric Generation for Evaluating Financial Research Agents [52.23447452815642]
専門家レビューされた金融ベンチマークは、各機関の基準をコード化できない拡張に費用がかかる固定された、単位単位のルーリックに依存している。 FinAutoRubricでは、専門家が再利用可能な評価ガイダンスを指定し、エージェントとコードはクエリ固有のルーブリック生成、レビュー、バリデーションを実行する。この専門家のガイダンスは、コードが強制するプロンプトやルールとして、すべてのエージェントを管理します。
論文参考訳（メタデータ） (2026-09-28T17:55:06Z)
Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation [64.51088225051959]
不均一なAIシステムは、最低コストで最も効果的に答えられる専門家にクエリをルーティングすることで、品質と効率を向上させることができる。我々はこのトレードオフをPandoraのBoxの例として定式化した。ガウス信号モデルの下では、得られたポリシーは、各専門家とインプットに対して、その価値見積の精算がそのコストに値するかどうかを決定する、クローズドフォームな情報表現を持つ。
論文参考訳（メタデータ） (2026-08-20T17:54:37Z)
Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文参考訳（メタデータ） (2026-04-21T14:21:15Z)
PRBench: Large-Scale Expert Rubrics for Evaluating High-Stakes Professional Reasoning [18.32501228579171]
Professional Reasoning Bench (PRBench) は、ファイナンス・アンド・ローにおける現実的な問題の現実的で、オープンで、困難なベンチマークである。私たちは1,100人の専門家によるタスクと19,356人の専門家による基準をオープンソース化しました。
論文参考訳（メタデータ） (2025-11-14T18:55:12Z)
No Need for Learning to Defer? A Training Free Deferral Framework to Multiple Experts through Conformal Prediction [3.746889836344766]
本稿では,共形予測に基づくエキスパート推論のための訓練不要,モデル非依存,エキスパート非依存のフレームワークを提案する。我々の手法は、スタンドアローンモデルと最強の専門家の両方より一貫して優れています。
論文参考訳（メタデータ） (2025-09-16T02:01:21Z)
Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
論文参考訳（メタデータ） (2025-08-11T13:08:07Z)
AI Judges in Design: Statistical Perspectives on Achieving Human Expert Equivalence With Vision-Language Models [3.092385483349516]
本稿では、AI審査員のレーティングが人間の専門家のレーティングと一致するかどうかを判断する厳密な統計枠組みを提案する。この枠組みを,VLMに基づく4人の審査員を主要な設計基準で評価するケーススタディに適用する。その結果,トップパフォーマンスのAI審査員は,一意性や描画品質に関する専門家レベルの合意を達成できることがわかった。
論文参考訳（メタデータ） (2025-04-01T16:20:29Z)
Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文参考訳（メタデータ） (2021-01-24T05:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。