論文の概要: Pairing Expert Critique with LLM-Driven Refinement: An Iterative Approach for Curating Quality AI Evaluation Datasets

• arxiv url: http://arxiv.org/abs/2611.05749v1
• Date: Tue, 03 Nov 2026 23:38:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.90324
• Title: Pairing Expert Critique with LLM-Driven Refinement: An Iterative Approach for Curating Quality AI Evaluation Datasets
• Title（参考訳）: LLM駆動リファインメントによる専門家批判のペアリング - 品質AI評価データセットの反復的アプローチ
• Abstract要約: SME-C(Subject Matter Expert Critique)は、軽量な候補応答によって専門知識を捉えるヒューマンAIワークフローである。 我々は、金融ビジネスブリーフィングの分野における中小企業の評価を行い、411人の金融専門家から3,853件の批判を収集した。 LLMによる2つの改善戦略を評価する。1つは専門家の文章による批判に導かれるもので、もう1つは好みの投票からのみ批判を推測するものである。
• 参考スコア（独自算出の注目度）: 2.1729412146149065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating and improving domain-specific LLM responses requires high-quality reference data and rubrics, yet expert authoring is slow and expensive, and synthetic datasets may fail to capture practitioner preferences unless they are grounded in expert judgment. We present SME-C (Subject Matter Expert Critique), a human-AI workflow that captures expertise through lightweight critiques of candidate responses and complements it with LLM-driven analysis and refinement to iteratively curate response datasets and evaluation rubrics. We validate SME-C in the domain of financial business briefs, collecting 3,853 critiques from 411 finance professionals on 520 queries across two survey rounds. We evaluate two LLM-driven refinement strategies: one guided by the experts' written critiques and one that infers critique solely from their preference votes. In a blind validation survey with 100 additional professionals, we found that both strategies significantly improved quality over the experts' top-ranked baseline responses. The gains were concentrated among weaker original responses, and the two strategies excelled in different ways: critique-based refinement produced more domain-grounded improvements, whereas vote-based refinement was more effective at identifying and removing irrelevant content. The resulting rubrics and refined dataset support reproducible offline evaluation and benchmarking of LLMs, suggesting that structured expert critique is a viable alternative to expert authoring for building high-quality, domain-specific evaluation resources more quickly, at scale, and at lower cost.
• Abstract（参考訳）: ドメイン固有のLCM応答の評価と改善には、高品質な参照データとルーブリックが必要であるが、専門家のオーサリングは遅くて費用がかかる。 SME-C(Subject Matter Expert Critique)は人間とAIのワークフローで、候補の反応の軽量な批評を通じて専門知識を捉え、LCMによる分析と改良によって応答データセットを反復的にキュレートし、ルーリックの評価を行う。 我々は、金融ビジネスブリーフィングの分野における中小企業の検証を行い、2回の調査ラウンドで411名の財務専門家から520件の質問に対して3,853件の批判を収集した。 LLMによる2つの改善戦略を評価する。1つは専門家の文章による批判に導かれるもので、もう1つは好みの投票からのみ批判を推測するものである。 100人の専門家による盲目のバリデーション調査では、双方の戦略が、専門家の上位レベルのベースライン回答よりも、品質を著しく改善していることがわかった。 批判に基づく改善は、より領域的な改善をもたらしたが、投票に基づく改善は、無関係な内容の特定と削除に効果的であった。 結果として得られたルーリックと改良されたデータセットは、LLMの再現可能なオフライン評価とベンチマークをサポートし、構造化された専門家の批評は、高品質でドメイン固有の評価リソースをより迅速に、大規模で、低コストで構築するためのエキスパートオーサリングの代替となることを示唆している。

関連論文リスト

• LLM-Based Scientific Peer Review: Methods, Benchmarks, and Reliability Challenges [4.655159257282136]
  この調査は,大規模言語モデル(LLM)に基づく科学的ピアレビューのシステムレベル分析を提供する。 批判生成とスコア予測という2つの中心的評価関数に注目した。 プロンプトインジェクション、データ中毒、検索脆弱性、報酬ハッキングなど、新興のリスクを特定します。
  論文  参考訳（メタデータ） (2026-06-23T18:12:39Z)
• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• Evaluating LLM-Based Grant Proposal Review via Structured Perturbations [18.689211845609623]
  我々は、6つの品質軸にまたがるLLM感度を探索する摂動型フレームワークを開発した。 我々は, 単一パスレビュー, セクション・バイ・セクション分析, 専門家パネルをエミュレートした「ペルソナのカウンシル」という3つのレビューアーキテクチャを比較した。
  論文  参考訳（メタデータ） (2026-03-09T11:53:50Z)
• Author-in-the-Loop Response Generation and Evaluation: Integrating Author Expertise and Intent in Responses to Peer Review [53.99984738447279]
  最近の作業は、このタスクを著者の専門知識と意図を活かした自動テキスト生成として捉えている。 本稿では,著者の明示的な入力,多属性制御,評価誘導による改良を統合したREspGenについて紹介する。 この定式化をサポートするために、アライメントされたレビュー-レスポンス-リビジョン三つ子の最初の大規模データセットであるRe$3$Alignを構築した。
  論文  参考訳（メタデータ） (2026-01-19T14:07:10Z)
• Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
  本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。 本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。 182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
  論文  参考訳（メタデータ） (2025-08-14T16:18:37Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。