論文の概要: Can External Validation Tools Improve Annotation Quality for LLM-as-a-Judge?

• arxiv url: http://arxiv.org/abs/2507.17015v1
• Date: Tue, 22 Jul 2025 20:57:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:14.772031
• Title: Can External Validation Tools Improve Annotation Quality for LLM-as-a-Judge?
• Title（参考訳）: 外部バリデーションツールはLCM-as-a-Judgeのアノテーション品質を改善するか?
• Authors: Arduin Findeis, Floris Weers, Guoli Yin, Ke Ye, Ruoming Pang, Tom Gunter,
• Abstract要約: 大規模言語モデル(LLM)の評価とフィードバックを提供するため、モデル応答に対するペアワイズな嗜好が広く収集されている。 一部のドメインでは、高品質なペアワイズ比較はAIと人間から得るのが難しい。 本稿では,これらのドメインに対して高品質なフィードバックを提供するためのツール利用エージェントシステムを提案する。
• 参考スコア（独自算出の注目度）: 9.717871423588043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pairwise preferences over model responses are widely collected to evaluate and provide feedback to large language models (LLMs). Given two alternative model responses to the same input, a human or AI annotator selects the "better" response. This approach can provide feedback for domains where other hard-coded metrics are difficult to obtain (e.g., chat response quality), thereby helping model evaluation or training. However, for some domains high-quality pairwise comparisons can be tricky to obtain - from AI and humans. For example, for responses with many factual statements, annotators may disproportionately weigh writing quality rather than underlying facts. In this work, we explore augmenting standard AI annotator systems with additional tools to improve performance on three challenging response domains: long-form factual, math and code tasks. We propose a tool-using agentic system to provide higher quality feedback on these domains. Our system uses web-search and code execution to ground itself based on external validation, independent of the LLM's internal knowledge and biases. We provide extensive experimental results evaluating our method across the three targeted response domains as well as general annotation tasks, using RewardBench (incl. AlpacaEval and LLMBar), RewardMath, as well as three new datasets for domains with saturated pre-existing datasets. Our results indicate that external tools can indeed improve performance in many, but not all, cases. More generally, our experiments highlight the sensitivity of performance to simple parameters (e.g., prompt) and the need for improved (non-saturated) annotator benchmarks. We share our code at https://github.com/apple/ml-agent-evaluator.
• Abstract（参考訳）: モデル応答に対するペアワイズな好みは、大規模言語モデル(LLM)の評価とフィードバックを提供するために広く収集されている。 同じ入力に対する2つの代替モデル応答が与えられた場合、人間またはAIアノテータが"better"応答を選択する。 このアプローチは、他のハードコードされたメトリクスが入手し難いドメイン(例えば、チャット応答の品質)に対するフィードバックを提供することで、モデルの評価やトレーニングを支援することができる。 しかし、いくつかのドメインでは、高品質なペアワイズ比較はAIと人間から入手するのが難しい。 例えば、多くのファクトステートメントを持つレスポンスでは、注釈者は基礎となる事実よりも、文章の品質を不均等に評価することができる。 本研究では,従来のAIアノテータシステムに,長文の事実,数学,コードタスクという3つの困難な応答領域のパフォーマンス向上のためのツールを追加することを検討する。 本稿では,これらのドメインに対して高品質なフィードバックを提供するためのツール利用エージェントシステムを提案する。 本システムでは,LLMの内部知識やバイアスに依存しない外部検証に基づいて,Web検索とコード実行を行う。 RewardBench(AlpacaEvalとLLMBarを含む)、RewardMath、および飽和した既存データセットを持つドメインのための3つの新しいデータセットを用いて、対象とする3つの応答領域と一般的なアノテーションタスクを対象とする手法の評価実験を行った。 我々の結果は、外部ツールが実際、多くのケースでパフォーマンスを向上できることを示しているが、全てではない。 より一般的な実験では、単純なパラメータ(例えばプロンプト)に対するパフォーマンスの感度と、改良された(非飽和)アノテータベンチマークの必要性を強調している。 私たちはコードをhttps://github.com/apple/ml-agent-evaluator.comで共有しています。

関連論文リスト

• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
  大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。 既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。 本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
  論文  参考訳（メタデータ） (2024-06-17T15:59:49Z)
• Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
  大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。 本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。 データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-06-17T04:35:17Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)
• Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
  Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。 既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。 各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-05-23T18:01:49Z)
• Combining Data Generation and Active Learning for Low-Resource Question Answering [23.755283239897132]
  低リソース環境での性能向上を図るために,質問応答生成によるデータ拡張とアクティブラーニングを組み合わせた新しい手法を提案する。 我々の新しいアプローチは、人間がデータ生成アプローチに組み込まれることで、低リソースでドメイン固有の設定のパフォーマンスが向上することを示している。
  論文  参考訳（メタデータ） (2022-11-27T16:31:33Z)
• Towards a Unified Multi-Dimensional Evaluator for Text Generation [101.47008809623202]
  自然言語生成のための統一多次元評価器UniEvalを提案する。 我々はNLG評価をブール質問回答(QA)タスクとして再設定し、異なる質問でモデルを導くことで、複数の次元から評価するために1つの評価器を使うことができる。 3つの典型的なNLGタスクの実験では、UniEvalは既存のメトリクスよりも人間の判断と大きく相関している。
  論文  参考訳（メタデータ） (2022-10-13T17:17:03Z)
• Training Data is More Valuable than You Think: A Simple and Effective Method by Retrieving from Training Data [82.92758444543689]
  検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。 意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。 実験結果から,本手法は様々なNLUタスクやNLGタスクにおいて,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T17:37:27Z)
• Beyond Accuracy: A Consolidated Tool for Visual Question Answering Benchmarking [30.155625852894797]
  研究者や主催者を対象としたブラウザベースのベンチマークツールを提案する。 私たちのツールは、複数のデータセットにわたるモデルの一般化機能をテストするのに役立ちます。 対話的フィルタリングは問題のある振る舞いの発見を促進する。
  論文  参考訳（メタデータ） (2021-10-11T11:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。