論文の概要: Teaching Language Models to Self-Improve by Learning from Language Feedback

• arxiv url: http://arxiv.org/abs/2406.07168v1
• Date: Tue, 11 Jun 2024 11:20:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 16:13:39.208832
• Title: Teaching Language Models to Self-Improve by Learning from Language Feedback
• Title（参考訳）: 言語フィードバックからの学習による自己改善のための言語モデル指導
• Authors: Chi Hu, Yimin Hu, Hang Cao, Tong Xiao, Jingbo Zhu,
• Abstract要約: 本稿では、モデルフィードバックをアライメントに活用するSRT(Self-Refinement Tuning)を提案する。 SRTはベース言語モデル(例えばTulu2)を使用して、より高度なモデルによって批判され洗練される初期応答を生成する。 SRTはさらに、自己生成したフィードバックと改善から学び、モデルの改善を促進するフィードバックループを作成することで、モデルを最適化する。
• 参考スコア（独自算出の注目度）: 40.649677201161744
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Aligning Large Language Models (LLMs) with human intentions and values is crucial yet challenging. Current methods primarily rely on human preferences, which are costly and insufficient in capturing nuanced feedback expressed in natural language. In this paper, we present Self-Refinement Tuning (SRT), a method that leverages model feedback for alignment, thereby reducing reliance on human annotations. SRT uses a base language model (e.g., Tulu2) to generate initial responses, which are critiqued and refined by a more advanced model (e.g., GPT-4-Turbo). This process enables the base model to self-evaluate and improve its outputs, facilitating continuous learning. SRT further optimizes the model by learning from its self-generated feedback and refinements, creating a feedback loop that promotes model improvement. Our empirical evaluations demonstrate that SRT significantly outperforms strong baselines across diverse tasks and model sizes. When applied to a 70B parameter model, SRT increases the win rate from 9.6\% to 25.8\% on the AlpacaEval 2.0 benchmark, surpassing well-established systems such as GPT-4-0314, Claude 2, and Gemini. Our analysis highlights the crucial role of language feedback in the success of SRT, suggesting potential for further exploration in this direction.
• Abstract（参考訳）: 大きな言語モデル(LLM)を人間の意図と価値で調整することは、非常に難しい。 現在の手法は主に人間の好みに依存しており、自然言語で表現されたニュアンスフィードバックを捉えるのに費用がかかり、不十分である。 本稿では、モデルフィードバックをアライメントに活用し、人間のアノテーションへの依存を減らす手法であるセルフリファインメント・チューニング(SRT)を提案する。 SRTはベース言語モデル(例:Tulu2)を使用して初期応答を生成し、より高度なモデル(例:GPT-4-Turbo)によって批判され洗練される。 このプロセスにより、ベースモデルはアウトプットを自己評価し、改善し、継続的な学習を促進することができる。 SRTはさらに、自己生成したフィードバックと改善から学び、モデル改善を促進するフィードバックループを作成することで、モデルを最適化する。 我々の経験的評価は、SRTが様々なタスクやモデルサイズで強いベースラインを著しく上回っていることを示している。 70Bパラメータモデルに適用すると、SRTはAlpacaEval 2.0ベンチマークで9.6\%から25.8\%に増加し、GPT-4-0314、Claude 2、Geminiなどの確立したシステムを上回る。 分析の結果,SRTの成功における言語フィードバックの重要性が強調され,今後の研究の可能性が示唆された。

関連論文リスト

• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• Self-Evolved Reward Learning for LLMs [45.6910747154447]
  RLHF(Reinforcement Learning from Human Feedback)は、言語モデルと人間の嗜好を整合させる重要な手法である。 本稿では、RMが反復的に自己改善するための追加のトレーニングデータを生成する新しいアプローチである自己進化リワード学習(SER:Self-Evolved Reward Learning)を提案する。 以上の結果から,人間による注釈付きデータであっても,自己フィードバックから学習することで,RM性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-01T07:29:03Z)
• Self-Taught Evaluators [77.92610887220594]
  本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。 我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
  論文  参考訳（メタデータ） (2024-08-05T17:57:02Z)
• Is Crowdsourcing Breaking Your Bank? Cost-Effective Fine-Tuning of Pre-trained Language Models with Proximal Policy Optimization [18.75866961339424]
  ChatGPTは、人間のフィードバックによる強化学習の可能性を強調している。 労働コストを削減するために,自己監督型テキストランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T12:24:07Z)
• A Critical Evaluation of AI Feedback for Aligning Large Language Models [60.42291111149438]
  教師が既存のRLAIFパイプラインより優れていることを示す。 より一般的には、RLAIFの利得は、ベースモデルファミリ、テスト時間評価プロトコル、批判モデルによって大きく異なることが分かる。
  論文  参考訳（メタデータ） (2024-02-19T18:53:54Z)
• Beyond Sparse Rewards: Enhancing Reinforcement Learning with Language Model Critique in Text Generation [29.6763730290473]
  強化学習は、言語モデルと人間の嗜好のような区別できない報酬信号とを一致させることができる。 本稿では,中間段階の報酬を生成するために,大規模言語モデルの批判能力を利用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-14T22:05:11Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。