論文の概要: EvalLoop: A Methodology for Evaluation-Driven Iterative Improvement of Business AI Systems
- arxiv url: http://arxiv.org/abs/2607.05638v1
- Date: Mon, 06 Jul 2026 20:58:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.327618
- Title: EvalLoop: A Methodology for Evaluation-Driven Iterative Improvement of Business AI Systems
- Title（参考訳）: EvalLoop: ビジネスAIシステムの評価駆動反復改善のための方法論
- Abstract要約: 評価駆動反復改善手法であるEvalLoopを提案する。
EvalLoopは,(1)品質を障害診断を可能にするビジネス関連次元に分解する次元メトリックグルーピング,(2)出力が弱い次元内で失敗する理由を分類する障害モード分類,(3)各評価の実行が1つのシステム変数に変化し,その前後の次元プロファイルを比較する構造化イテレーションワークフロー,の3つのメカニズムについて評価を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Teams deploying large language models in business contexts need evaluation systems, yet most treat evaluation as static model selection: run benchmarks, rank models, deploy the winner. This framing misses evaluation's primary value for production systems--diagnosing why a system underperforms and guiding what to fix. We present EvalLoop, a methodology for evaluation-driven iterative improvement. EvalLoop organizes evaluation around three mechanisms: (1) dimensional metric grouping that decomposes quality into business-relevant dimensions enabling orthogonal failure diagnosis; (2) failure mode classification that categorizes why outputs fail within weak dimensions, bridging diagnosis to action; and (3) a structured iteration workflow where each evaluation run varies one system variable and compares dimensional profiles before and after. We validate EvalLoop through a case study on sales intelligence briefing generation (10 models, 3 providers, 18 metrics, 5 dimensions, 3 iterations). Dimensional diagnosis identified that 69% of hallucination failures were prompt-induced interpretation errors--invisible in aggregate scoring. A targeted prompt fix improved the best model from 82.6% to 94.6% overall, with improvement concentrated in diagnosed dimensions (Content Accuracy +16.8pp, Synthesis Power +26.4pp). An undirected configuration change in a prior iteration produced zero impact, illustrating the cost of iterating without diagnosis. We additionally demonstrate that dimensional profiling enables deployment-specific model selection, and that a one-time blind human gate on a finalist panel (4 models, 16 cases) confirms dimensional rankings while resolving multi-criteria deployment trade-offs--a 94% reduction in review burden compared to evaluating the full design. EvalLoop is packaged as reusable artifacts (playbook, agent specification, template repository) for adoption by other teams.
- Abstract（参考訳）: 大規模言語モデルをビジネスコンテキストにデプロイするチームには評価システムが必要だが、ほとんどの場合、評価を静的モデル選択として扱う:ベンチマークの実行、ランクモデル、勝者のデプロイ。
このフレーミングは、プロダクションシステムに対する評価の主要な価値を見逃します。
評価駆動反復改善手法であるEvalLoopを提案する。
EvalLoop は,(1) 品質を直交的故障診断が可能なビジネス関連次元に分解する次元メトリックグルーピング,(2) 出力が弱い次元内で失敗する理由を分類する障害モード分類,(3) それぞれの評価実行が1つのシステム変数に変化し,その前後の次元プロファイルを比較する構造化イテレーションワークフロー,の3つのメカニズムについて評価を行う。
営業インテリジェンスブリーフィング生成(10モデル、3プロバイダ、18メトリクス、5次元、3イテレーション)のケーススタディを通じて、EvalLoopを検証する。
次元診断では,幻覚不全の69%が即時に誘発される解釈誤りであり,総点検では不可視であった。
目標としたプロンプト修正により、最高のモデルを82.6%から94.6%に改善し、診断された次元に集中した(Content Accuracy +16.8pp、Synthetic Power +26.4pp)。
事前のイテレーションで設定が変更されることで影響はゼロとなり、診断なしで反復するコストが増大した。
さらに,3次元プロファイリングにより,配置固有のモデル選択が可能であり,また,フィナリストパネル(4モデル,16ケース)上の1回盲人ゲートが,複数基準のデプロイメントトレードオフを解消しつつ,次元ランキングを確認可能であることを実証した。
EvalLoopは再利用可能なアーティファクト(プレイブック、エージェント仕様、テンプレートリポジトリ)としてパッケージされ、他のチームが採用する。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - The RAT: A Unified Bayesian Model for RAG Evaluation [8.650407684623714]
本稿では,検索成功,棄却行動,回答正当性を共同でモデル化するベイズ評価フレームワークを提案する。
フレームワークを3つのデータセット、3つのレトリバー、3つのジェネレータにわたる27のRAG構成に適用する。
我々は、LLM-as-a-judgeアノテーションをキャリブレーションされたノイズ観測として組み込むようモデルを拡張した。
論文 参考訳（メタデータ） (2026-08-25T15:54:30Z) - Holistic Evaluation and Failure Diagnosis of AI Agents [0.2922148761619506]
本稿では,トップダウン診断とボトムアップスパンレベル評価を組み合わせた総合的エージェント評価フレームワークを提案する。
この分解は任意の長さのトレースにスケールし、各評定に対してスパンレベルの有理数を生成する。
TRAILベンチマークでは、我々のフレームワークはすべてのメトリクスで最先端の結果を得る。
論文 参考訳（メタデータ） (2026-05-14T14:12:39Z) - Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition [53.005382593686356]
エンゲージメント認識データセットは典型的には主観的インデクシングであり、しばしば騒々しく主観的な監督を含んでいる。
本研究では、この設定を、エンゲージメント認識のためのポストホック衛生機構として、主観レベルマシンアンラーニングを通して研究する。
論文 参考訳（メタデータ） (2026-05-06T10:03:06Z) - Evaluating Agentic AI in the Wild: Failure Modes, Drift Patterns, and a Production Evaluation Framework [0.0]
生産エージェントシステムに特有の7つの障害モードの分類法を提案する。
標準メトリクスは、7つの障害モードのうち4つを完全に検出することができない。
オープンソースの参照実装を備えた5次元評価フレームワークPAEFを提案する。
論文 参考訳（メタデータ） (2026-05-02T21:02:08Z) - SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。
このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
論文 参考訳（メタデータ） (2026-04-30T19:33:58Z) - Towards a Diagnostic and Predictive Evaluation Methodology for Sequence Labeling Tasks [3.423332499970556]
本稿では,誤り解析に基づくシーケンスラベリングタスクの評価手法を提案する。
本手法は, 外部データセットのモデル性能を0.85の正負相関で予測する。
論文 参考訳（メタデータ） (2026-02-13T09:39:10Z) - K-Sort Eval: Efficient Preference Evaluation for Visual Generation via Corrected VLM-as-a-Judge [51.93484138861584]
視覚生成モデルの急速な開発により、よりスケーラブルで人間に合わせた評価方法の必要性が高まっている。
K-Sort Evalは,後方補正と動的マッチングを統合した信頼性と効率的なVLMに基づく評価フレームワークである。
実験の結果、K-Sort EvalはK-Sort Arenaと一致した評価結果を提供する。
論文 参考訳（メタデータ） (2026-02-10T05:07:46Z) - Solver-in-the-Loop: MDP-Based Benchmarks for Self-Correction and Behavioral Rationality in Operations Research [19.31559944205485]
運用 調査実践者は反復的なプロセスを通じて、不可能なモデルを日常的にデバッグする。
評価ループにtextbfsolver を配置するベンチマークを2つ導入する。
ドメイン固有のRLVRトレーニングによって、8BモデルがフロンティアAPIを越えられることが分かりました。
論文 参考訳（メタデータ） (2026-01-28T20:02:44Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳（メタデータ） (2021-02-17T18:25:30Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳（メタデータ） (2020-06-08T07:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。