論文の概要: Progressively Label Enhancement for Large Language Model Alignment

• arxiv url: http://arxiv.org/abs/2408.02599v2
• Date: Wed, 9 Oct 2024 07:31:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 12:55:50.940715
• Title: Progressively Label Enhancement for Large Language Model Alignment
• Title（参考訳）: 大規模言語モデルアライメントのための段階的ラベル強調
• Authors: Biao Liu, Ning Xu, Xin Geng,
• Abstract要約: 大きな言語モデル(LLM)のアライメントは、モデルが人間の期待に反するコンテンツを生成するのを防ぐことを目的としている。 生成したデータの進化的品質に基づいてモデルのトレーニングプロセスを動的に調整するフレームワークであるPLEを提案する。
• 参考スコア（独自算出の注目度）: 42.01694160556464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLM) alignment aims to prevent models from producing content that misaligns with human expectations, which can lead to ethical and legal concerns. In the last few years, Reinforcement Learning from Human Feedback (RLHF) has been the most prominent method for achieving alignment. Due to challenges in stability and scalability with RLHF stages, which arise from the complex interactions between multiple models, researchers are exploring alternative methods to achieve effects comparable to those of RLHF. However, these methods often rely on large high-quality datasets. Despite some methods considering the generation of additional data to expand datasets, they often treat model training and data generation as separate and static processes, overlooking the fact that these processes are highly interdependent, leading to inefficient utilization of the generated data. To deal with this problem, we propose PLE, i.e., Progressively Label Enhancement for LLM Alignment, a framework that dynamically adjusts the model's training process based on the evolving quality of the generated data. Specifically, we prompt the model to generate responses for both the original query and the query guided by a set of carefully designed principles, and then utilize a dynamic threshold to determine the appropriate training approach for both responses based on their corresponding reward scores. Experimental results demonstrate the effectiveness of PLE compared to existing LLM alignment methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)のアライメントは、人間の期待に反するコンテンツをモデルが生成することを防ぐことを目的としており、倫理的および法的懸念につながる可能性がある。 近年,ヒトフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)がアライメントを実現する最も顕著な方法である。 複数のモデル間の複雑な相互作用から生じるRLHFステージの安定性とスケーラビリティの課題により、研究者はRLHFステージに匹敵する効果を達成するための代替手法を模索している。 しかし、これらの手法は多くの場合、大きな高品質なデータセットに依存している。 データセットを拡張するための追加データの生成を検討するいくつかの手法にもかかわらず、モデルトレーニングとデータ生成を分離された静的プロセスとして扱うことが多い。 この問題に対処するため,LLMアライメントのプログレッシブ・ラベル・エンハンスメント(Progressively Label Enhancement for LLM Alignment)という,生成されたデータの進化的品質に基づいてモデルのトレーニングプロセスを動的に調整するフレームワークを提案する。 具体的には,本モデルに対して,厳密な設計原則によって導かれたクエリとクエリの両方に対する応答を生成するように促すとともに,動的しきい値を用いて,対応する報酬スコアに基づいて,両方の応答に対する適切なトレーニングアプローチを決定する。 従来のLCMアライメント法と比較して, PLEの有効性を示す実験結果が得られた。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Latent mixed-effect models for high-dimensional longitudinal data [6.103940626659986]
  LMM-VAEは,長手データに対するスケーラブルで解釈可能で識別可能なモデルである。 我々は,GPに基づく手法と理論的な関係を強調し,この手法の統一的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-09-17T09:16:38Z)
• Joint Demonstration and Preference Learning Improves Policy Alignment with Human Feedback [58.049113055986375]
  我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。 提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-11T01:20:53Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Semi-supervised Relation Extraction via Data Augmentation and Consistency-training [2.2209333405427585]
  半教師付き学習手法は,ラベル付きデータポイントからの学習に加えて,非ラベル付きデータを活用することを目的としている。 近年,一貫性に基づく半教師付き学習手法と組み合わさった強力なデータ拡張が,SSLタスクにおける最先端技術である。 本研究では,制御されたテキスト生成の最近の進歩を活用し,関係抽出タスクの高品質なデータ拡張を行う。
  論文  参考訳（メタデータ） (2023-06-16T19:45:42Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。