論文の概要: Learned-Rule-Augmented Large Language Model Evaluators

• arxiv url: http://arxiv.org/abs/2512.01958v1
• Date: Mon, 01 Dec 2025 18:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:35.011363
• Title: Learned-Rule-Augmented Large Language Model Evaluators
• Title（参考訳）: 学習ルール強化大言語モデル評価器
• Authors: Jie Meng, Jin Mao,
• Abstract要約: 大規模言語モデル(LLM)は、主に自然言語生成(NLG)タスクの評価器として使用される。 本研究は,多種多様なタスクにまたがる汎用評価器としてのLLMの可能性を探るものである。
• 参考スコア（独自算出の注目度）: 5.4343364964031124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are predominantly used as evaluators for natural language generation (NLG) tasks, but their application to broader evaluation scenarios remains limited. In this work, we explore the potential of LLMs as general evaluators across diverse tasks. Although LLM-based evaluators have made progress in different areas, existing methods struggle to generalize due to their reliance on costly, human-designed evaluation principles, which are often misaligned with both annotated data and LLMs' understanding.To address these challenges, we propose a rule-augmented evaluation paradigm. First, we introduce a rule distillation method that automatically extracts scoring rules from data using an LLM-assisted Monte Carlo Tree Search (MCTS), alleviating scalability issues and improving alignment with data. Second, to enable LLMs to effectively apply the learned rules, we propose two strategies: (1) Chain-of-Rule (CoR), which guides LLM to follow distilled rules, and (2) training a rule-augmented LLM evaluator (RuAE) via reinforcement learning, further bridging the gap between rules and LLMs' reasoning. Extensive experiments on diverse tasks demonstrate the effectiveness and generalizability of our approach across various evaluation scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語生成(NLG)タスクの評価器として主に使用されているが、より広範な評価シナリオへの応用は限定的である。 本研究では,多種多様なタスクにまたがる汎用評価器としてのLCMの可能性について検討する。 LLMをベースとした評価手法は,様々な分野で進展してきたが,従来の手法では,注釈付きデータとLCMの理解とが混同されることの多い,費用がかかる人為的な評価原則に頼っているため,一般化に苦慮している。 まず, LLM支援モンテカルロ木探索(MCTS)を用いてデータからスコアリングルールを自動的に抽出し, スケーラビリティの問題を緩和し, データの整合性を改善するルール蒸留手法を提案する。 第2に, LLMの学習ルールを効果的に適用するために, 1) LLMに蒸留ルールに従うよう誘導するチェーン・オブ・ルール (CoR) と,(2) 強化学習を通じてルール強化型LLM評価器 (RuAE) を訓練し, ルールとLLMの推論のギャップを埋める2つの戦略を提案する。 多様なタスクに関する大規模な実験は、様々な評価シナリオにおけるアプローチの有効性と一般化性を実証している。

関連論文リスト

• LLM-Crowdsourced: A Benchmark-Free Paradigm for Mutual Evaluation of Large Language Models [13.713870642186254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示す。 既存の評価手法は、データ汚染、ブラックボックス操作、主観的嗜好といった問題に悩まされている。 我々は,新しいベンチマークフリー評価パラダイム LLM-Crowdsourced を提案する。
  論文  参考訳（メタデータ） (2025-07-30T03:50:46Z)
• RuleArena: A Benchmark for Rule-Guided Reasoning with LLMs in Real-World Scenarios [58.90106984375913]
  RuleArenaは、大規模言語モデル(LLM)が推論において複雑な現実世界のルールに従う能力を評価するために設計された、新しくて挑戦的なベンチマークである。 航空会社の荷物手数料、NBA取引、税制の3つの実践的領域をカバーするルールアリーナは、複雑な自然言語命令を扱うのにLLMの習熟度を評価する。
  論文  参考訳（メタデータ） (2024-12-12T06:08:46Z)
• LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods [21.601196380989542]
  「LLMs-as-judges」は自然言語応答に基づく評価器である。 本稿では,5つの重要な視点から'LLMs-as-judges'パラダイムを包括的に調査する。 我々は,研究と実践の両方において,'LLMs-as-judges'の開発と適用に関する洞察を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-12-07T08:07:24Z)
• A Survey of Useful LLM Evaluation [20.048914787813263]
  2段階フレームワーク:コア能力からエージェントへ」 コア能力」の段階では, LLMの推論能力, 社会的影響, ドメイン知識について議論した。 エージェントの段階では, LLMエージェントアプリケーションの動作, 計画, ツール学習の具体化を実演した。
  論文  参考訳（メタデータ） (2024-06-03T02:20:03Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• PRE: A Peer Review Based Large Language Model Evaluator [14.585292530642603]
  既存のパラダイムは、LLMの性能を評価するために、人間アノテーションまたはモデルベースの評価器のいずれかに依存している。 ピアレビュープロセスを通じてLLMを自動的に評価できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-28T12:33:14Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)
• A Survey on Evaluation of Large Language Models [87.60417393701331]
  大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。 本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2023-07-06T16:28:35Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。