Fugu-MT 論文翻訳(概要): CLHA: A Simple yet Effective Contrastive Learning Framework for Human Alignment

論文の概要: CLHA: A Simple yet Effective Contrastive Learning Framework for Human Alignment

arxiv url: http://arxiv.org/abs/2403.16649v1
Date: Mon, 25 Mar 2024 11:37:15 GMT
ステータス: 処理完了
システム内更新日: 2024-03-26 14:58:36.598829
Title: CLHA: A Simple yet Effective Contrastive Learning Framework for Human Alignment
Title（参考訳）: CLHA: ヒューマンアライメントのためのシンプルで効果的なコントラスト学習フレームワーク
Authors: Feiteng Fang, Liang Zhu, Min Yang, Xi Feng, Jinchang Hou, Qixuan Zhao, Chengming Li, Xiping Hu, Ruifeng Xu,
Abstract要約: 人間からのフィードバックからの強化学習(RLHF)は、大規模言語モデル(LLM)と人間の嗜好を整合させる重要な手法である。本稿では,LLMと人間の嗜好を直接整合させるために,CLHA(Contrastive Learning Framework for Human Alignment)を提案する。
参考スコア（独自算出の注目度）: 42.71324708567498
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning from human feedback (RLHF) is a crucial technique in aligning large language models (LLMs) with human preferences, ensuring these LLMs behave in beneficial and comprehensible ways to users. However, a longstanding challenge in human alignment techniques based on reinforcement learning lies in their inherent complexity and difficulty in training. To address this challenge, we present a simple yet effective Contrastive Learning Framework for Human Alignment (CLHA) to align LLMs with human preferences directly. CLHA employs a novel rescoring strategy to evaluate the noise within the data by considering its inherent quality and dynamically adjusting the training process. Simultaneously, CLHA utilizes pairwise contrastive loss and adaptive supervised fine-tuning loss to adaptively modify the likelihood of generating responses, ensuring enhanced alignment with human preferences. Using advanced methods, CLHA surpasses other algorithms, showcasing superior performance in terms of reward model scores, automatic evaluations, and human assessments on the widely used ``\textit{Helpful and Harmless}'' dataset.
Abstract（参考訳）: 人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)を人間の好みに合わせる上で重要な手法であり、これらのLLMがユーザにとって有益で理解しやすい方法で振舞うことを保証する。しかし、強化学習に基づく人間のアライメント技術における長年の課題は、その固有の複雑さと訓練の難しさにある。この課題に対処するために、LLMと人間の嗜好を直接整合させる、単純で効果的な人間適応のためのコントラスト学習フレームワーク(CLHA)を提案する。 CLHAは、その固有の品質を考慮し、トレーニングプロセスを動的に調整することで、データ内のノイズを評価するために、新しいリスコリング戦略を採用している。同時に、CLHAは対向的なコントラスト損失と適応的な教師付き微調整損失を利用して、反応の発生可能性を適応的に修正し、人間の嗜好との整合性を確保する。高度な手法を用いて、CLHAは他のアルゴリズムを超越し、報酬モデルスコア、自動評価、そして広く使われている '`\textit{Helpful and Harmless}''' データセットに対する人間の評価の点で優れたパフォーマンスを示す。

関連論文リスト

Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models [94.39278422567955]
人間の嗜好を微調整した大型言語モデル(LLM)は、その能力向上に成功している。しかし、微調整中のLLMの安全性確保は依然として重要な懸念事項である。本稿では,BFPO(Bi-Factorial Preference Optimization)と呼ばれる教師あり学習フレームワークを提案する。
論文参考訳（メタデータ） (2024-08-27T17:31:21Z)
Joint Demonstration and Preference Learning Improves Policy Alignment with Human Feedback [58.049113055986375]
我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
論文参考訳（メタデータ） (2024-06-11T01:20:53Z)
Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment [103.05005690990271]
従来のアライメント戦略は人間の介入に大きく依存しており、例えばSupervised Fine-Tuning(SFT)やReinforcement Learning from Human Feedback(RLHF)などである。本稿では、AlignCoTと呼ばれる思考の連鎖(CoT)アプローチを利用した新しい自己アライメント手法を提案する。本稿では、AlignCoTプロセスの各コンポーネントを強化するために専門家の混合を適用し、アライメント効率を著しく向上させるMoTEアーキテクチャについて紹介する。
論文参考訳（メタデータ） (2024-05-01T15:06:05Z)
COPR: Continual Human Preference Learning via Optimal Policy Regularization [56.1193256819677]
RLHF(Reinforcement Learning from Human Feedback)は、大規模言語モデル(LLM)と人間の嗜好の整合性を改善するために一般的に用いられる。本稿では,最適政策理論からインスピレーションを得たCOPR法を提案する。
論文参考訳（メタデータ） (2024-02-22T02:20:08Z)
Aligning Large Language Models with Human Preferences through Representation Engineering [41.81020951061438]
表現工学(RepE)の新たな分野から着想を得た本研究は,LLM内の活動パターンに埋め込まれた高レベルの人間の嗜好の関連表現を特定することを目的としている。この新しいアプローチは、人間フィードバックからの表現アライメント(Representation Alignment from Human Feedback、RAHF)と呼ばれ、効果的で、計算的に効率的で、実装が容易であることが証明されている。
論文参考訳（メタデータ） (2023-12-26T11:01:36Z)
COPR: Continual Learning Human Preference through Optimal Policy Regularization [32.54658750353585]
我々はCOPR(Continuous Optimal Policy Regularization)と呼ばれる新しい手法を提案する。 COPRは単一の学習フェーズを含み、複雑な強化学習を必要としない。実験の結果、COPRは強力な継続的学習(CL)ベースラインを上回っていることがわかった。
論文参考訳（メタデータ） (2023-10-24T10:05:32Z)
SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
論文参考訳（メタデータ） (2023-10-09T17:56:53Z)
SLiC-HF: Sequence Likelihood Calibration with Human Feedback [35.74135968442311]
最近導入されたSequence Likelihood(SLiC)は、人間の嗜好から効果的に学習できることを示す。 TL;DR要約タスクの実験により、SLiC-HFは教師付き微調整ベースラインを大幅に改善することが示された。
論文参考訳（メタデータ） (2023-05-17T17:57:10Z)
Fine-tuning Language Models with Generative Adversarial Reward Modelling [30.424363135421917]
RLHF(Reinforcement Learning with Human Feedback)は、大規模言語モデル(LLM)の性能を大幅に向上させることが実証されている。我々は、RLHFとSFTに対するRLGAF(Reinforcement Learning with Generative Adversarial Feedback)という別のアプローチを提案する。
論文参考訳（メタデータ） (2023-05-09T17:06:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。