論文の概要: Representation Tuning

• arxiv url: http://arxiv.org/abs/2409.06927v3
• Date: Wed, 9 Oct 2024 13:39:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 21:53:46.450772
• Title: Representation Tuning
• Title（参考訳）: 表現チューニング
• Authors: Christopher M. Ackerman,
• Abstract要約: アクティベーションエンジニアリングは、大規模言語モデルのオンライン制御手段として、ますます人気が高まっている。 私は、これらのベクトルを直接モデルにチューニングするために、関心の行動方向を表すベクトルでアクティブなステアリングというアイデアを拡張します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation engineering is becoming increasingly popular as a means of online control of large language models (LLMs). In this work, I extend the idea of active steering with vectors that represent a behavioral direction of interest to tuning those vectors directly into the model, obviating the need for online control. First, I identify activation vectors related to honesty in an open-source LLM (Llama- 2-13b-chat). Next, I demonstrate that model output can be made more or less honest by adding positive or negative multiples of these vectors to residual stream activations during generation. Then, I show that a similar effect can be achieved by fine-tuning the vectors directly into the model, by use of a dual loss function based on the cosine similarity of residual stream activations to the vectors combined with a standard token-based loss ("representation tuning"). Finally, I compare the generations in response to honesty-probing prompts from the resulting models to those from models fine-tuned with a token-based loss alone, and to those from the untuned model subjected to online steering. Overall, fine-tuning the vectors into the models using the cosine similarity plus token loss showed a stronger effect than online steering, and generalized better than using the standard loss, suggesting the potential utility of this approach as a safety measure. Code and data are available at https://github.com/cma1114/representation_tuning; tuned models are available at https://huggingface.co/collections/cackerman/ representation-tuning-66da1e5ab41cd1b824687d9f.
• Abstract（参考訳）: 大規模言語モデル(LLM)のオンライン制御手段として,アクティベーションエンジニアリングがますます普及している。 本研究は,これらのベクトルを直接モデルにチューニングし,オンライン制御の必要性を回避し,関心の行動方向を表すベクトルを用いたアクティブステアリングの考え方を拡張した。 まず、オープンソースのLCM(Llama-2-13b-chat)において、正直性に関連するアクティベーションベクトルを同定する。 次に、生成中の残ストリームアクティベーションにこれらのベクトルの正あるいは負の倍数を加えることで、モデル出力を多かれ少なかれ正直にすることができることを示す。 次に,残差ストリームアクティベーションと標準トークンベースのロス(表現チューニング)を組み合わせたベクトルとのコサイン類似性に基づく二重損失関数を用いて,ベクトルを直接モデルに微調整することで,同様の効果が得られることを示す。 最後に、私は、結果のモデルから得られた正直なプロンプトに反応した世代と、トークンベースの損失だけで微調整されたモデルと、オンラインステアリングを受けた未調整モデルの世代を比較します。 全体として、コサイン類似度とトークン損失を用いたモデルへのベクトルの微調整は、オンラインステアリングよりも強い効果を示し、標準損失よりも良く一般化された。 コードとデータはhttps://github.com/cma1114/representation_tuningで、チューニングされたモデルはhttps://huggingface.co/collections/cackerman/ representation-tuning-66da1e5ab41cd1b824687d9fで入手できる。

関連論文リスト

• Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
  モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。 成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。 勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
  論文  参考訳（メタデータ） (2024-10-07T12:01:32Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• Autoregressive Image Generation without Vector Quantization [31.798754606008067]
  従来の知恵では、画像生成のための自己回帰モデルは一般にベクトル量子化トークンを伴っている。 本研究では,拡散法を用いて確率分布の確率分布をモデル化し,連続値空間に自己回帰モデルを適用することを提案する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:58Z)
• Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals [14.741951369068877]
  ユビキタス時系列(TS)予測モデルでは,過度なオーバーフィッティングが生じる傾向にある。 本稿では,深層的なブースティング・アンサンブル学習手法である二重ストリーム・サブトラクション機構を提案する。 提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
  論文  参考訳（メタデータ） (2024-02-04T03:54:31Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• Extracting Latent Steering Vectors from Pretrained Language Models [14.77762401765532]
  本研究では,言語モデルデコーダから直接潜在ベクトルを抽出できることを示す。 実験により、ステアリングベクトルが存在し、それが言語モデルの隠れ状態に追加されると、ほぼ完璧にターゲット文を生成することが示された。 テキスト類似度ベンチマークで評価すると, ステアリングベクトル間の距離が文類似度を反映していることが分かる。
  論文  参考訳（メタデータ） (2022-05-10T19:04:37Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• S3VAE: Self-Supervised Sequential VAE for Representation Disentanglement and Data Generation [31.38329747789168]
  自己超越下での逐次データの不整合表現を学習するための逐次変分オートエンコーダを提案する。 我々は、入力データ自体から容易にアクセス可能な監視信号や、市販の機能モデルから得られる利点を利用する。 我々のモデルは入力シーケンスの表現を静的因子と動的因子に容易に切り離すことができる。
  論文  参考訳（メタデータ） (2020-05-23T00:44:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。