論文の概要: The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context
Learning
- arxiv url: http://arxiv.org/abs/2312.01552v1
- Date: Mon, 4 Dec 2023 00:46:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 16:46:03.612329
- Title: The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context
Learning
- Title（参考訳）: base llmsのアンロックスペル: インコンテキスト学習によるアライメント再考
- Authors: Bill Yuchen Lin, Abhilasha Ravichander, Ximing Lu, Nouha Dziri,
Melanie Sclar, Khyathi Chandu, Chandra Bhagavatula, Yejin Choi
- Abstract要約: 最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。
これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。
本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
- 参考スコア（独自算出の注目度）: 61.68787689234622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The alignment tuning process of large language models (LLMs) typically
involves instruction learning through supervised fine-tuning (SFT) and
preference tuning via reinforcement learning from human feedback (RLHF). A
recent study, LIMA (Zhou et al. 2023), shows that using merely 1K examples for
SFT can achieve significant alignment performance as well, suggesting that the
effect of alignment tuning might be "superficial." This raises questions about
how exactly the alignment tuning transforms a base LLM.
We analyze the effect of alignment tuning by examining the token distribution
shift between base LLMs and their aligned counterpart. Our findings reveal that
base LLMs and their alignment-tuned versions perform nearly identically in
decoding on the majority of token positions. Most distribution shifts occur
with stylistic tokens. These direct evidence strongly supports the Superficial
Alignment Hypothesis suggested by LIMA.
Based on these findings, we rethink the alignment of LLMs by posing the
research question: how effectively can we align base LLMs without SFT or RLHF?
To address this, we introduce a simple, tuning-free alignment method, URIAL.
URIAL achieves effective alignment purely through in-context learning (ICL)
with base LLMs, requiring as few as three constant stylistic examples and a
system prompt. We conduct a fine-grained and interpretable evaluation on a
diverse set of examples, named JUST-EVAL-INSTRUCT. Results demonstrate that
base LLMs with URIAL can match or even surpass the performance of LLMs aligned
with SFT or SFT+RLHF. We show that the gap between tuning-free and tuning-based
alignment methods can be significantly reduced through strategic prompting and
ICL. Our findings on the superficial nature of alignment tuning and results
with URIAL suggest that deeper analysis and theoretical understanding of
alignment is crucial to future LLM research.
- Abstract（参考訳）: 大規模言語モデル(LLM)のアライメントチューニングプロセスは、典型的には、教師付き微調整(SFT)による指導学習と、人間からのフィードバック(RLHF)による強化学習による選好チューニングを含む。
最近の研究であるLIMA (Zhou et al. 2023) は、単に1KのサンプルをSFTに使用すれば、アライメントのパフォーマンスも向上し、アライメントチューニングの効果が「超越的」である可能性を示唆している。
これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。
基本LLMとその配位子間のトークン分布シフトを調べることでアライメントチューニングの効果を解析する。
本研究により, トークン位置の復号化において, 基本LLMとアライメント調整版がほぼ同じ性能を示した。
ほとんどの分布シフトはスタイリスティックなトークンで起こる。
これらの直接的な証拠はLIMAが提案した表面配向仮説を強く支持している。
これらの知見に基づいて,SFT や RLHF を使わずに,LLM のアライメントをいかに効果的に調整できるかという研究課題を提起することによって,LLM のアライメントを再考する。
そこで本研究では,シンプルなチューニング不要アライメント手法URIALを提案する。
URIALは、テキスト内学習(ICL)をベースLLMと組み合わせることで、効果的なアライメントを実現し、3つの定常的なスタイリスティックな例とシステムプロンプトを必要とする。
我々は,JUST-EVAL-INSTRUCTという,多種多様な例に対して,きめ細かな,解釈可能な評価を行う。
その結果, URIAL をベースとした LLM は, SFT や SFT+RLHF と整合した LLM の性能に適合したり, 上回ったりできることを示した。
我々は,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトとICLによって著しく低減できることを示す。
我々は,アライメント調整の表層的性質とURIALによる結果から,アライメントの深い解析と理論的理解が今後のLLM研究に不可欠であることが示唆された。
関連論文リスト
- RAC: Efficient LLM Factuality Correction with Retrieval Augmentation [8.207682890286957]
大規模言語モデル(LLM)は、広範囲の自然言語処理(NLP)タスクにおいて印象的な結果を示すが、しばしば事実的に誤った出力を生成することができる。
本稿では,簡単な低遅延後補正手法である textbfRetrieval Augmented Correction (RAC) を提案する。
論文 参考訳（メタデータ） (2024-10-21T06:11:38Z) - From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [89.9648814145473]
大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。
近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。
そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
論文 参考訳（メタデータ） (2024-09-03T07:01:37Z) - In-Context Learning with Reinforcement Learning for Incomplete Utterance Rewriting [33.89176174108559]
大規模言語モデル(LLM)の文脈内学習は、いくつかの例で拡張された命令に基づいて予測を行う。
ICLの既存の例選択方法はスパースまたは高密度レトリバーを使用し、有効性能を導出する。
本稿では,言語モデルセレクタとLLMジェネレータから構成される実例選択(RLS)のためのポリシーベース強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-23T12:32:12Z) - From Distributional to Overton Pluralism: Investigating Large Language Model Alignment [82.99849359892112]
適応後の応答多様性の低下を以前報告した再検査を行った。
分析の結果,応答の多様性の明らかな低下は,品質管理と情報集約によって大きく説明できることがわかった。
発見は、現在のアライメント技術はキャプチャーされるが、アシスタントライクなベースLLM動作の有用なサブセットを拡張するものではないことを示している。
論文 参考訳（メタデータ） (2024-06-25T16:32:33Z) - Is In-Context Learning Sufficient for Instruction Following in LLMs? [38.29072578390376]
実効性はあるものの, MT-Bench の命令微調整と比較すると, ICL とAL とのアライメントは依然として不十分であることがわかった。
我々は、我々の知識、ICLの体系的比較、低データ体制における命令追従のための命令微調整(IFT)を初めて提供する。
論文 参考訳（メタデータ） (2024-05-30T09:28:56Z) - FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。
両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。
直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
論文 参考訳（メタデータ） (2024-05-02T17:54:54Z) - Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。
まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。
第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
論文 参考訳（メタデータ） (2023-11-07T15:36:40Z) - Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。
我々は「反射チューニング」と呼ばれる新しい手法を提案する。
このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文 参考訳（メタデータ） (2023-10-18T05:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。