論文の概要: Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2502.12501v1
• Date: Tue, 18 Feb 2025 03:31:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:03:03.546661
• Title: Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge
• Title（参考訳）: 集団比較推論: LLM-as-a-Judgeに対する包括的評価のアンロック
• Authors: Qiyuan Zhang, Yufei Wang, Yuxin Jiang, Liangyou Li, Chuhan Wu, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma,
• Abstract要約: 提案するクラウド・ベース・コンピレーション・アセスメントは,提案するクラウド・レスポンスを,候補の応答と比較するための追加のクラウド・レスポンスを導入する。 このプロセスはLLM-as-a-Judgeを効果的に誘導し、より詳細なCoT判定を提供する。 提案手法は, 高い品質のCoTを製造し, 蒸留を判断し, 拒絶サンプリングにおいて優れた性能を示す。
• 参考スコア（独自算出の注目度）: 90.8674158031845
• License:
• Abstract: LLM-as-a-Judge, which generates chain-of-thought (CoT) judgments, has become a widely adopted auto-evaluation method. However, its reliability is compromised by the CoT reasoning's inability to capture comprehensive and deeper details, often leading to incomplete outcomes. Existing methods mainly rely on majority voting or criteria expansion, which is insufficient to address the limitation in CoT. We propose Crowd-based Comparative Evaluation, which introduces additional crowd responses to compare with the candidate responses, thereby exposing deeper and more comprehensive details within the candidate responses. This process effectively guides LLM-as-a-Judge to provide a more detailed CoT judgment. Extensive experiments demonstrate that our approach enhances evaluation reliability, achieving an average accuracy gain of 6.7% across five benchmarks. Moreover, our method produces higher-quality CoTs that facilitate judge distillation and exhibit superior performance in rejection sampling for supervised fine-tuning (SFT), referred to as crowd rejection sampling, thereby enabling more efficient SFT. Our analysis confirms that CoTs generated by ours are more comprehensive and of higher quality, and evaluation accuracy improves as inference scales.
• Abstract（参考訳）: チェーン・オブ・シント(CoT)判断を生成するLCM-as-a-Judgeは、広く採用されている自己評価手法である。 しかし、その信頼性はCoT推論が包括的で深い詳細を把握できないために妥協され、しばしば不完全な結果をもたらす。 既存の方法は主に多数決または基準拡張に依存しており、CoTの制限に対処するには不十分である。 提案するクラウド・ベース・コンピレーション・コンピレーション・アセスメントは,提案するクラウド・レスポンスを候補応答と比較し,より深く,より包括的な詳細を候補応答に提示する。 このプロセスはLLM-as-a-Judgeを効果的にガイドし、より詳細なCoT判定を提供する。 5つのベンチマークで平均精度が6.7%向上した。 さらに,本手法は, 群衆除去サンプリング(crowd rejection sample)と呼ばれる監視微調整(SFT)において, 高い品質のCoTを製造し, より効率的なSFTを実現する。 分析の結果, 提案するCoTはより包括的で, 高品質であり, 推論尺度として評価精度が向上することが確認された。

関連論文リスト

• Black-box Uncertainty Quantification Method for LLM-as-a-Judge [13.45579129351493]
  LLM-as-a-Judge評価の信頼性を高めるために設計された不確実性を定量化する新しい手法を提案する。 生成された評価と可能な評価の関係を分析して不確実性を定量化する。 これらの関係を相互に評価し、トークン確率に基づく混乱行列を構築することにより、高いあるいは低い不確実性のラベルを導出する。
  論文  参考訳（メタデータ） (2024-10-15T13:29:22Z)
• Step-by-Step Reasoning for Math Problems via Twisted Sequential Monte Carlo [55.452453947359736]
  Twisted Sequential Monte Carlo(TSMC)に基づく新しい検証手法を提案する。 TSMCを大規模言語モデルに適用し、部分解に対する将来的な報酬を推定する。 このアプローチは、ステップワイドなヒューマンアノテーションを必要としない、より直接的なトレーニングターゲットをもたらす。
  論文  参考訳（メタデータ） (2024-10-02T18:17:54Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  LLM(Large Language Models)を用いたプロンプトベースの手法の開発には、多くの意思決定が必要である。 この課題に対処するための新しい手法を提案する。 典型的に必要とされるリソースの5～15%しか必要とせず,トップパフォーマンスの手法を識別できることが示される。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
  Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。 本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。 また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
  論文  参考訳（メタデータ） (2024-06-19T16:42:57Z)
• DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models [4.953092503184905]
  この研究は、LLM(Large Language Models)生成したテキストの一貫性を評価し改善する自動化フレームワークであるDCRを提案する。 本稿では,DCEからの出力を解釈可能な数値スコアに変換する自動計量変換器(AMC)を提案する。 また,本手法は出力不整合の90%近くを著しく低減し,効果的な幻覚緩和の可能性を示唆している。
  論文  参考訳（メタデータ） (2024-01-04T08:34:16Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)
• Evaluate What You Can't Evaluate: Unassessable Quality for Generated Response [56.25966921370483]
  大規模な言語モデルに基づく参照不要評価器の使用には課題がある。 参照なし評価器は、異なるセマンティクス応答を持つオープンな例により適している。 対話応答の質を評価するため, LLM に基づく推論不要評価器の使用にはリスクがある。
  論文  参考訳（メタデータ） (2023-05-24T02:52:48Z)
• Abnormal-aware Multi-person Evaluation System with Improved Fuzzy Weighting [0.0]
  粗スクリーニングとスコア重み付きKendall-$tau$ Distanceからなる2段階スクリーニング法を選択する。 ファジィ・シンセティック・アセスメント・メソッド(FSE)を用いて、レビュアーによるスコアの重要度と信頼性を判定する。
  論文  参考訳（メタデータ） (2022-05-01T03:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。