論文の概要: Interpreting Reward Models in RLHF-Tuned Language Models Using Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2310.08164v2
• Date: Tue, 28 Nov 2023 05:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 14:02:59.576513
• Title: Interpreting Reward Models in RLHF-Tuned Language Models Using Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダを用いたRLHF修飾言語モデルの逆モデル解釈
• Authors: Luke Marks, Amir Abdullah, Luna Mendez, Rauno Arike, Philip Torr, Fazl Barez
• Abstract要約: 大規模言語モデル(LLM)における暗黙報酬モデル(IRM)の解釈手法を提案する。 我々のアプローチは、ベースLSMとそのRLHF調整型からアクティベートされたオートエンコーダのペアを訓練する。 スパースオートエンコーダのIRM解釈への応用としてはこれが初めてである。
• 参考スコア（独自算出の注目度）: 8.15890412446096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) aligned to human preferences via reinforcement learning from human feedback (RLHF) underpin many commercial applications of LLM technology. Despite this, the impacts of RLHF on LLM internals remain opaque. We propose a novel method for interpreting implicit reward models (IRMs) in LLMs learned through RLHF. Our approach trains pairs of autoencoders on activations from a base LLM and its RLHF-tuned variant. Through a comparison of autoencoder hidden spaces, we identify features that reflect the accuracy of the learned IRM. To illustrate our method, we fine-tune an LLM via RLHF to learn a token-utility mapping and maximize the aggregate utility of generated text. This is the first application of sparse autoencoders to interpreting IRMs. Our method provides an abstract approximation of reward integrity and holds promise for measuring alignment between specified objectives and learned model behaviors.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間のフィードバック(RLHF)からの強化学習を通じて、人間の好みに合わせている。 しかし、LLM内部へのRLHFの影響はいまだに不透明である。 RLHF を用いて学習した LLM における暗黙報酬モデル (IRM) の解釈法を提案する。 我々のアプローチは、ベースLSMとそのRLHF調整型からアクティベートされたオートエンコーダのペアを訓練する。 オートエンコーダの隠れ空間の比較により,学習したIRMの精度を反映した特徴を同定する。 提案手法を説明するため,RLHFを用いてLPMを微調整し,トークンユーティリティマッピングを学習し,生成したテキストの集合的有用性を最大化する。 これは、irmを解釈するためのスパースオートエンコーダの最初のアプリケーションである。 本手法は報酬の整合性を抽象的に近似し,特定の目的と学習モデル行動の一致度を測定することを約束する。

関連論文リスト

• Reinforcement Learning for Aligning Large Language Models Agents with Interactive Environments: Quantifying and Mitigating Prompt Overfitting [40.78026627009521]
  強化学習(Reinforcement Learning、RL)は、大規模言語モデル(LLM)知識を逐次意思決定タスクと整合させるための有望なアプローチである。 テキスト環境下でのRL学習後の定式化を促進するために,LLMの感度を解析するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-25T18:25:35Z)
• From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [89.9648814145473]
  大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。 近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。 そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:37Z)
• LLM4VV: Exploring LLM-as-a-Judge for Validation and Verification Testsuites [6.796136787585992]
  大規模言語モデル(LLM)は進化し、ソフトウェア開発のランドスケープに大きな革命をもたらしています。 本稿では,ディレクティブプログラミングモデルのコンパイラ実装を評価するために使用されるテストの判定について考察する。
  論文  参考訳（メタデータ） (2024-08-21T15:54:17Z)
• FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
  従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。 両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。 直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
  論文  参考訳（メタデータ） (2024-05-02T17:54:54Z)
• LaFFi: Leveraging Hybrid Natural Language Feedback for Fine-tuning Language Models [14.087415157225715]
  微調整大型言語モデル(LLM)は、特定の下流タスクに訓練されたモデルを適用する。 Supervised Fine-Tuning (SFT) は、LLMが望ましい回答を得るために訓練される一般的なアプローチである。 本稿では,LLMのための自然言語フィードバック (Natural Language Feedback for Finetuning LLMs, LaFFi) という,SFTの代替手法を提案する。
  論文  参考訳（メタデータ） (2023-12-31T21:18:16Z)
• The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning [61.68787689234622]
  最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。 これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。 本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
  論文  参考訳（メタデータ） (2023-12-04T00:46:11Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。