論文の概要: Direct Judgement Preference Optimization

• arxiv url: http://arxiv.org/abs/2409.14664v2
• Date: Mon, 30 Sep 2024 00:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 21:34:58.214358
• Title: Direct Judgement Preference Optimization
• Title（参考訳）: 直接判断選好最適化
• Authors: Peifeng Wang, Austin Xu, Yilun Zhou, Caiming Xiong, Shafiq Joty,
• Abstract要約: 我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。 我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。 提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
• 参考スコア（独自算出の注目度）: 66.83088028268318
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Auto-evaluation is crucial for assessing response quality and offering feedback for model development. Recent studies have explored training large language models (LLMs) as generative judges to evaluate and critique other models' outputs. In this work, we investigate the idea of learning from both positive and negative data with preference optimization to enhance the evaluation capabilities of LLM judges across an array of different use cases. We achieve this by employing three approaches to collect the preference pairs for different use cases, each aimed at improving our generative judge from a different perspective. Our comprehensive study over a wide range of benchmarks demonstrates the effectiveness of our method. In particular, our generative judge achieves the best performance on 10 out of 13 benchmarks, outperforming strong baselines like GPT-4o and specialized judge models. Further analysis show that our judge model robustly counters inherent biases such as position and length bias, flexibly adapts to any evaluation protocol specified by practitioners, and provides helpful language feedback for improving downstream generator models.
• Abstract（参考訳）: 自動評価は、応答品質を評価し、モデル開発にフィードバックを提供するために不可欠である。 近年の研究では、他のモデルのアウトプットを評価し、批判するための生成的判断者として、大規模言語モデル(LLM)の訓練について検討されている。 本研究では,LLM審査員の評価能力を高めるために,肯定的データと否定的データの両方から学習する手法について検討する。 異なるユースケースの選好ペアを収集するために3つのアプローチを採用し、それぞれ異なる視点から生成判断を改善することを目的としている。 幅広いベンチマークを総合的に検討した結果,本手法の有効性が示された。 特に,生成型判定器は,13ベンチマーク中10ベンチマークにおいて,GPT-4oや特殊な判定器モデルよりも優れた性能を達成している。 さらに,我々の判断モデルは,位置や長さバイアスなどの固有バイアスに頑健に対処し,実践者が規定する評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。

関連論文リスト

• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [78.53743237977677]
  GED(Preference Graph Ensemble and Denoise)は、複数のモデルベースの評価器を活用して嗜好グラフを構築する新しいアプローチである。 GEDは,モデルランキング,応答選択,モデルアライメントタスクにおいて,ベースライン手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• Self-rationalization improves LLM as a fine-grained judge [21.917301609125417]
  本稿では,判断モデルの合理性を改善する反復的プロセスである自己帰納化を導入する。 自己合理化は、モデルが同じ入力に対して合理性を持つ複数の判断を生成させることで機能する。 我々のモデルは、SFTで訓練されたモデルと比較して平均62%の利益率で、より高い品質の合理性を生み出すことを学習している。
  論文  参考訳（メタデータ） (2024-10-07T21:05:53Z)
• Self-Taught Evaluators [77.92610887220594]
  本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。 我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
  論文  参考訳（メタデータ） (2024-08-05T17:57:02Z)
• OffsetBias: Leveraging Debiased Data for Tuning Evaluators [1.5790747258969664]
  様々な判断モデルに固有の6種類のバイアスを定性的に同定する。 データセットの微調整は、バイアスに対する判断モデルの堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-09T05:16:22Z)
• Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
  大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。 本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。 また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
  論文  参考訳（メタデータ） (2024-02-17T11:25:26Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。