論文の概要: The Mysterious Case of Neuron 1512: Injectable Realignment Architectures Reveal Internal Characteristics of Meta's Llama 2 Model

• arxiv url: http://arxiv.org/abs/2407.03621v1
• Date: Thu, 4 Jul 2024 04:05:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 19:21:33.442374
• Title: The Mysterious Case of Neuron 1512: Injectable Realignment Architectures Reveal Internal Characteristics of Meta's Llama 2 Model
• Title（参考訳）: ニューロン1512の謎:メタのLlama 2モデルの内部特性を解明するインジェクタブル・アライメント・アーキテクチャー
• Authors: Brenden Smith, Dallin Baker, Clayton Chase, Myles Barney, Kaden Parker, Makenna Allred, Peter Hu, Alex Evans, Nancy Fulda,
• Abstract要約: Injectable Realignment Model (IRM)は、言語モデルの解釈可能性と説明可能性に対する新しいアプローチである。 ニューラルプログラミングインタフェースに関する以前の研究に触発された私たちは、感情に基づくアライメントを誘導するために、小さなネットワーク(IRM)を構築してトレーニングします。 訓練されたIRMの出力の分析では、興味深いパターンが明らかになっている。
• 参考スコア（独自算出の注目度）: 3.838217057990932
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have an unrivaled and invaluable ability to "align" their output to a diverse range of human preferences, by mirroring them in the text they generate. The internal characteristics of such models, however, remain largely opaque. This work presents the Injectable Realignment Model (IRM) as a novel approach to language model interpretability and explainability. Inspired by earlier work on Neural Programming Interfaces, we construct and train a small network -- the IRM -- to induce emotion-based alignments within a 7B parameter LLM architecture. The IRM outputs are injected via layerwise addition at various points during the LLM's forward pass, thus modulating its behavior without changing the weights of the original model. This isolates the alignment behavior from the complex mechanisms of the transformer model. Analysis of the trained IRM's outputs reveals a curious pattern. Across more than 24 training runs and multiple alignment datasets, patterns of IRM activations align themselves in striations associated with a neuron's index within each transformer layer, rather than being associated with the layers themselves. Further, a single neuron index (1512) is strongly correlated with all tested alignments. This result, although initially counterintuitive, is directly attributable to design choices present within almost all commercially available transformer architectures, and highlights a potential weak point in Meta's pretrained Llama 2 models. It also demonstrates the value of the IRM architecture for language model analysis and interpretability. Our code and datasets are available at https://github.com/DRAGNLabs/injectable-alignment-model
• Abstract（参考訳）: 大規模言語モデル(LLM)は、それらを生成するテキストに反映することにより、その出力を様々な人間の好みに"適応"する、未熟で価値の低い能力を持っている。 しかし、そのようなモデルの内部特性はほとんど不透明である。 本稿では、言語モデルの解釈可能性と説明可能性に対する新しいアプローチとして、IRM(Injectable Realignment Model)を提案する。 ニューラルプログラミングインタフェースに関する初期の研究に触発され、7BパラメータLLMアーキテクチャ内で感情に基づくアライメントを誘導するために、小さなネットワーク(IRM)を構築し、訓練します。 IRM出力は、LCMの前方通過中に様々な点において層状付加により注入され、元のモデルの重みを変えることなくその挙動を調節する。 これにより、変換器モデルの複雑なメカニズムからアライメントの挙動を分離する。 訓練されたIRMの出力の分析では、興味深いパターンが明らかになっている。 24以上のトレーニング実行と複数のアライメントデータセットを通じて、IRMアクティベーションのパターンは、レイヤ自体に関連づけられるのではなく、各トランスフォーマー層内のニューロンのインデックスに関連付けられたストレートに整合する。 さらに、単一のニューロンインデックス(1512)は、全ての試験されたアライメントと強く相関している。 この結果は当初は直感的ではなかったが、ほとんどすべての市販のトランスフォーマーアーキテクチャに存在する設計上の選択に直接起因しており、Metaの事前訓練されたLlama 2モデルの潜在的な弱点を浮き彫りにしている。 また、言語モデル分析と解釈可能性のためのIRMアーキテクチャの価値も示している。 私たちのコードとデータセットはhttps://github.com/DRAGNLabs/injectable-alignment-modelで公開されています。

関連論文リスト

• Locating Information in Large Language Models via Random Matrix Theory [0.0]
  我々は,事前学習した変換器モデルBERTとLlamaの重量行列を解析した。 訓練後に偏差が出現し モデル内の学習された構造が特定できます その結果、微調整後、小さな特異値がモデルの能力に重要な役割を果たすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-23T11:19:08Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Talking Heads: Understanding Inter-layer Communication in Transformer Language Models [32.2976613483151]
  2つのLMで用いられるメカニズムを分析し、1つのタスクでコンテキスト内のアイテムを選択的に抑制する。 モデルが残ストリームの低ランクな部分空間に書き込まれて,後続のレイヤで読み出される特徴を表現することが分かりました。
  論文  参考訳（メタデータ） (2024-06-13T18:12:01Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。 トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。 本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
  論文  参考訳（メタデータ） (2021-08-30T06:09:02Z)
• Predicting Chemical Properties using Self-Attention Multi-task Learning based on SMILES Representation [0.0]
  本研究では,変圧器変圧器モデルの構造的差異について検討し,新しい自己注意モデルを提案する。 不均衡な化学データセットを用いたマルチタスク学習環境において,自己認識モジュールの表現学習性能を評価した。
  論文  参考訳（メタデータ） (2020-10-19T09:46:50Z)
• Learning to Encode Position for Transformer with Continuous Dynamical Model [88.69870971415591]
  本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。 このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
  論文  参考訳（メタデータ） (2020-03-13T00:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。