Fugu-MT 論文翻訳(概要): Think-J: Learning to Think for Generative LLM-as-a-Judge

論文の概要: Think-J: Learning to Think for Generative LLM-as-a-Judge

arxiv url: http://arxiv.org/abs/2505.14268v1
Date: Tue, 20 May 2025 12:19:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-21 14:49:53.164303
Title: Think-J: Learning to Think for Generative LLM-as-a-Judge
Title（参考訳）: Think-J: ジェネレーティブ LLM-as-a-Judge の考え方を学ぶ
Authors: Hui Huang, Yancheng He, Hongli Zhou, Rui Zhang, Wei Liu, Weixun Wang, Wenbo Su, Bo Zheng, Jiaheng Liu,
Abstract要約: 本稿では,LLM-as-a-Judgeの考え方を学習することで,ジェネレーティブなLLM-as-a-Judgeを改善するThink-Jを提案する。本稿では,オフラインとオンラインのRLに基づく2つの判断思考最適化手法を提案する。提案手法は, ジェネレーションLLM-Judgeの評価能力を大幅に向上させることができることを示した。
参考スコア（独自算出の注目度）: 35.036953471299356
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLM-as-a-Judge refers to the automatic modeling of preferences for responses generated by Large Language Models (LLMs), which is of significant importance for both LLM evaluation and reward modeling. Although generative LLMs have made substantial progress in various tasks, their performance as LLM-Judge still falls short of expectations. In this work, we propose Think-J, which improves generative LLM-as-a-Judge by learning how to think. We first utilized a small amount of curated data to develop the model with initial judgment thinking capabilities. Subsequently, we optimize the judgment thinking traces based on reinforcement learning (RL). We propose two methods for judgment thinking optimization, based on offline and online RL, respectively. The offline RL requires training a critic model to construct positive and negative examples for learning. The online method defines rule-based reward as feedback for optimization. Experimental results showed that our approach can significantly enhance the evaluation capability of generative LLM-Judge, surpassing both generative and classifier-based LLM-Judge without requiring extra human annotations.
Abstract（参考訳）: LLM-as-a-Judgeは,Lumge Language Models (LLMs) が生成する応答の選好を自動的にモデル化する手法であり,LLMの評価と報奨モデルの両方において重要な意味を持つ。生成LDMは様々なタスクでかなりの進歩を遂げてきたが、LLM-Judgeとしての性能は依然として期待に届かなかった。本研究では,LLM-as-a-Judgeの考え方を学習することで,ジェネレーティブなLLM-as-a-Judgeを改善するThink-Jを提案する。我々はまず,少量のキュレートされたデータを初期判断思考能力を持つモデルの開発に利用した。その後、強化学習(RL)に基づく判断思考トレースを最適化する。本稿では,オフラインとオンラインのRLに基づく2つの判断思考最適化手法を提案する。オフラインのRLは、学習のポジティブな例とネガティブな例を構築するために、批評家モデルを訓練する必要がある。オンライン手法では、ルールベースの報酬を最適化のためのフィードバックとして定義している。提案手法は, 人為的アノテーションを必要とせずに, ジェネレーティブLLM-JudgeとジェネレーティブLLM-Judgeを併用し, 評価能力を大幅に向上させることができることを示した。

関連論文リスト

Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
論文参考訳（メタデータ） (2025-04-02T20:33:27Z)
Improve LLM-as-a-Judge Ability as a General Ability [40.2210529561692]
大規模言語モデル(LLM)は様々なシナリオで応答を評価し、正確な選好信号を提供する。近年の研究では、LLMをジェネレーティブ・ジャッジ(ジェネレーティブ・ジャッジ)として訓練する多くの方法が提起されているが、そのほとんどはデータ消費か精度の欠如である。本研究では、教師付き微調整(SFT)ウォームアップと直接選好最適化(DPO)強化を含む2段階の訓練手法を実装した。
論文参考訳（メタデータ） (2025-02-17T11:28:43Z)
Online Preference-based Reinforcement Learning with Self-augmented Feedback from Large Language Model [17.4036850872656]
嗜好に基づく強化学習(PbRL)は、人間の嗜好に基づいて報酬を学習することで、巧妙な報酬工学を避けるための強力なパラダイムを提供する。本稿では,オンラインPbRLの特権情報に依存しないRL自己拡張大言語モデルフィードバック(RL-SaLLM-F)手法を提案する。
論文参考訳（メタデータ） (2024-12-22T06:15:25Z)
Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
論文参考訳（メタデータ） (2024-04-01T06:01:17Z)
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection [24.435121488662897]
反射フィードバックによる強化学習(RLRF)という新しい枠組みを提案する。 RLRFは自己回帰機構を用いて、LLM応答を体系的に探索し、洗練し、RLアルゴリズムを介してモデルを微調整し、有望な応答を与える。ジャスト・エバル, ファクタリティ, 数学的推論による実験は, RLRFの有効性と変換ポテンシャルを実証した。
論文参考訳（メタデータ） (2024-03-21T08:57:27Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
Reinforcement Learning from LLM Feedback to Counteract Goal Misgeneralization [0.0]
強化学習(RL)における目標誤一般化に対処する手法を提案する。目標の誤一般化は、エージェントがその能力のアウト・オブ・ディストリビューションを維持しながら、意図したものよりもプロキシを追求する場合に発生する。本研究では,大規模言語モデルを用いてRLエージェントを効率的に監視する方法を示す。
論文参考訳（メタデータ） (2024-01-14T01:09:48Z)
LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
論文参考訳（メタデータ） (2023-11-15T19:52:11Z)
Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
論文参考訳（メタデータ） (2023-10-11T16:38:11Z)
Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文参考訳（メタデータ） (2023-09-20T09:23:46Z)
On Learning to Summarize with Large Language Models as References [101.79795027550959]
大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
論文参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。