論文の概要: DeAL: Decoding-time Alignment for Large Language Models
- arxiv url: http://arxiv.org/abs/2402.06147v2
- Date: Wed, 21 Feb 2024 02:25:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 19:03:26.127864
- Title: DeAL: Decoding-time Alignment for Large Language Models
- Title(参考訳): DeAL: 大規模言語モデルのデコード時アライメント
- Authors: James Y. Huang, Sailik Sengupta, Daniele Bonadiman, Yi-an Lai, Arshit
Gupta, Nikolaos Pappas, Saab Mansour, Katrin Kirchhoff, Dan Roth
- Abstract要約: 大規模言語モデル(LLM)は、現在、人間の好みに沿ったコンテンツを生成することが期待されている。
本稿では,報酬関数をカスタマイズ可能なフレームワークであるDeALを提案し,LLMのDetime Alignmentを可能にする。
実験の結果,粒度の細かいトレードオフでDeALを実現できること,アライメント目標への適合性の向上,LLMの残差の解消が可能であることがわかった。
- 参考スコア(独自算出の注目度): 59.63643988872571
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are nowadays expected to generate content
aligned with human preferences. Current work focuses on alignment at model
training time, through techniques such as Reinforcement Learning with Human
Feedback (RLHF). However, it is unclear if such methods are an effective choice
to teach alignment objectives to the model. First, the inability to incorporate
multiple, custom rewards and reliance on a model developer's view of universal
and static principles are key limitations. Second, the residual gaps in model
training and the reliability of such approaches are also questionable (e.g.
susceptibility to jail-breaking even after safety training). To address these,
we propose DeAL, a framework that allows the user to customize reward functions
and enables Decoding-time Alignment of LLMs (DeAL). At its core, we view
decoding as a heuristic-guided search process and facilitate the use of a wide
variety of alignment objectives. Our experiments with programmatic constraints
such as keyword and length constraints (studied widely in the pre-LLM era) and
abstract objectives such as harmlessness and helpfulness (proposed in the
post-LLM era) show that we can DeAL with fine-grained trade-offs, improve
adherence to alignment objectives, and address residual gaps in LLMs. Lastly,
while DeAL can be effectively paired with RLHF and prompting techniques, its
generality makes decoding slower, an optimization we leave for future work.
- Abstract(参考訳): 大規模言語モデル(LLM)は現在、人間の好みに沿ったコンテンツを生成することが期待されている。
現在の研究は、Reinforcement Learning with Human Feedback (RLHF)のようなテクニックを通じて、モデルトレーニング時のアライメントに焦点を当てている。
しかし、そのような手法がモデルにアライメント目的を教える効果的な選択であるかどうかは不明である。
まず、モデル開発者の普遍的原則と静的原則に対する見解に、複数のカスタム報酬と依存を組み込むことができないことが、重要な制限です。
第二に、モデル訓練における残留ギャップとそのようなアプローチの信頼性も疑わしい(例えば、安全訓練の後でさえ、脱獄の危険性)。
そこで本稿では,報酬関数をカスタマイズし,LLM(Decode-time Alignment of LLM)を実現するためのフレームワークであるDeALを提案する。
その核となるのは、デコーディングをヒューリスティックなガイド付き検索プロセスとして捉え、幅広いアライメント目標の使用を促進することです。
キーワードや長さの制約(LLM前において広く研究されている)や無害性や援助性(LLM後)といった抽象的な目的(LLM後)を用いた実験は、細粒度のトレードオフでDeALが可能であり、アライメント目的への適合性を改善し、LCMの残差に対処できることを示している。
最後に、DeALはRLHFと効果的に組み合わせて技法を推進できるが、その一般化によってデコードが遅くなり、将来の作業に向け最適化される。
関連論文リスト
- Aligners: Decoupling LLMs and Alignment [49.8019652005368]
大きな言語モデル(LLM)は、ほとんどのアプリケーションで安全性と実用性を確保するために、人間の期待に沿う必要がある。
そこで本稿では,LLM とアライメントを,任意の基準をアライメントするためのアライメントモデルのトレーニングによって分離することを提案する。
論文 参考訳(メタデータ) (2024-03-07T04:54:56Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-25T20:07:13Z) - InferAligner: Inference-Time Alignment for Harmlessness through
Cross-Model Guidance [56.184255657175335]
我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。
実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。
これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
論文 参考訳(メタデータ) (2024-01-20T10:41:03Z) - Improving Large Language Models via Fine-grained Reinforcement Learning
with Minimum Editing Constraint [109.77895659878442]
強化学習(RL)は、大規模言語モデルの訓練に広く用いられている。
生成モデルを報酬モデルとして組み込んだ新しいRL法 textbfRLMEC を提案する。
生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
論文 参考訳(メタデータ) (2024-01-11T17:58:41Z) - RLAIF: Scaling Reinforcement Learning from Human Feedback with AI
Feedback [5.469395454378616]
人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)と人間の好みを合わせるのに有効であることが証明されている。
AI Feedback (RLAIF) の RL は、強力なオフザシェルフ LLM を活用して、人間のアノテータの代わりに好みを生成する、有望な代替手段を提供する。
以上の結果から,RLHFのスケーラビリティ限界に対する潜在的な解決策として,RLAIFが人間レベルの性能を実現することが示唆された。
論文 参考訳(メタデータ) (2023-09-01T05:53:33Z) - Fundamental Limitations of Alignment in Large Language Models [17.588147380259635]
人間と対話する言語モデルを開発する上で重要な側面は、その行動が有用で有害であるように整列することである。
これは通常、望ましい振る舞いを高め、望ましくない振る舞いを抑制する方法でモデルをチューニングすることで達成される。
本研究では,行動予測境界 (BEB) と呼ばれる理論的手法を提案する。
論文 参考訳(メタデータ) (2023-04-19T17:50:09Z) - Personalisation within bounds: A risk taxonomy and policy framework for
the alignment of large language models with personalised feedback [11.895749982167375]
大規模言語モデル(LLM)は、幅広いタスクのコンテンツを生成するために使用され、今後数年でより多くの聴衆にリーチするように設定されている。
これにより、モデルが人間の好みと一致し、安全でない、不正確な、有害なアウトプットを発生させないことを保証する必要性が強まる。
マイクロレベルの嗜好学習プロセスを通じてLLMをパーソナライズすると、各ユーザとの整合性が良くなるモデルが得られる。
論文 参考訳(メタデータ) (2023-03-09T17:52:07Z) - Reinforcement Learning from Diverse Human Preferences [95.61153128294939]
本稿では,人選好ラベルをクラウドソーシングし,多様な嗜好から学習する手法を開発した。
提案手法はDMcontrolとMeta-worldの様々なタスクでテストされる。
多様なフィードバックから学ぶと、既存の好みベースのRLアルゴリズムよりも一貫性があり、大幅に改善されている。
論文 参考訳(メタデータ) (2023-01-27T15:18:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。