論文の概要: The Mysterious Case of Neuron 1512: Injectable Realignment Architectures Reveal Internal Characteristics of Meta's Llama 2 Model

• arxiv url: http://arxiv.org/abs/2407.03621v1
• Date: Thu, 4 Jul 2024 04:05:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 19:21:33.442374
• Title: The Mysterious Case of Neuron 1512: Injectable Realignment Architectures Reveal Internal Characteristics of Meta's Llama 2 Model
• Title（参考訳）: ニューロン1512の謎:メタのLlama 2モデルの内部特性を解明するインジェクタブル・アライメント・アーキテクチャー
• Authors: Brenden Smith, Dallin Baker, Clayton Chase, Myles Barney, Kaden Parker, Makenna Allred, Peter Hu, Alex Evans, Nancy Fulda,
• Abstract要約: Injectable Realignment Model (IRM)は、言語モデルの解釈可能性と説明可能性に対する新しいアプローチである。 ニューラルプログラミングインタフェースに関する以前の研究に触発された私たちは、感情に基づくアライメントを誘導するために、小さなネットワーク(IRM)を構築してトレーニングします。 訓練されたIRMの出力の分析では、興味深いパターンが明らかになっている。
• 参考スコア（独自算出の注目度）: 3.838217057990932
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have an unrivaled and invaluable ability to "align" their output to a diverse range of human preferences, by mirroring them in the text they generate. The internal characteristics of such models, however, remain largely opaque. This work presents the Injectable Realignment Model (IRM) as a novel approach to language model interpretability and explainability. Inspired by earlier work on Neural Programming Interfaces, we construct and train a small network -- the IRM -- to induce emotion-based alignments within a 7B parameter LLM architecture. The IRM outputs are injected via layerwise addition at various points during the LLM's forward pass, thus modulating its behavior without changing the weights of the original model. This isolates the alignment behavior from the complex mechanisms of the transformer model. Analysis of the trained IRM's outputs reveals a curious pattern. Across more than 24 training runs and multiple alignment datasets, patterns of IRM activations align themselves in striations associated with a neuron's index within each transformer layer, rather than being associated with the layers themselves. Further, a single neuron index (1512) is strongly correlated with all tested alignments. This result, although initially counterintuitive, is directly attributable to design choices present within almost all commercially available transformer architectures, and highlights a potential weak point in Meta's pretrained Llama 2 models. It also demonstrates the value of the IRM architecture for language model analysis and interpretability. Our code and datasets are available at https://github.com/DRAGNLabs/injectable-alignment-model
• Abstract（参考訳）: 大規模言語モデル(LLM)は、それらを生成するテキストに反映することにより、その出力を様々な人間の好みに"適応"する、未熟で価値の低い能力を持っている。 しかし、そのようなモデルの内部特性はほとんど不透明である。 本稿では、言語モデルの解釈可能性と説明可能性に対する新しいアプローチとして、IRM(Injectable Realignment Model)を提案する。 ニューラルプログラミングインタフェースに関する初期の研究に触発され、7BパラメータLLMアーキテクチャ内で感情に基づくアライメントを誘導するために、小さなネットワーク(IRM)を構築し、訓練します。 IRM出力は、LCMの前方通過中に様々な点において層状付加により注入され、元のモデルの重みを変えることなくその挙動を調節する。 これにより、変換器モデルの複雑なメカニズムからアライメントの挙動を分離する。 訓練されたIRMの出力の分析では、興味深いパターンが明らかになっている。 24以上のトレーニング実行と複数のアライメントデータセットを通じて、IRMアクティベーションのパターンは、レイヤ自体に関連づけられるのではなく、各トランスフォーマー層内のニューロンのインデックスに関連付けられたストレートに整合する。 さらに、単一のニューロンインデックス(1512)は、全ての試験されたアライメントと強く相関している。 この結果は当初は直感的ではなかったが、ほとんどすべての市販のトランスフォーマーアーキテクチャに存在する設計上の選択に直接起因しており、Metaの事前訓練されたLlama 2モデルの潜在的な弱点を浮き彫りにしている。 また、言語モデル分析と解釈可能性のためのIRMアーキテクチャの価値も示している。 私たちのコードとデータセットはhttps://github.com/DRAGNLabs/injectable-alignment-modelで公開されています。

関連論文リスト

• Talking Heads: Understanding Inter-layer Communication in Transformer Language Models [32.2976613483151]
  トランスフォーマー言語モデル(LM)が、初期レイヤから後期レイヤに機能を渡すことが分かりました。 LMがこれを実現するために使用する特定のメカニズムを分析することで、リストからアイテムをリコールするためにも使用されることが分かる。 分析の結果,言語モデルの事前学習から得られた驚くほど複雑な解釈可能な構造が明らかになった。
  論文  参考訳（メタデータ） (2024-06-13T18:12:01Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Fitting a Directional Microstructure Model to Diffusion-Relaxation MRI Data with Self-Supervised Machine Learning [2.8167227950959206]
  教師付き学習の魅力的な代替手段として、自己教師型機械学習が登場している。 本稿では,指向性マイクロ構造モデルに適用可能な自己教師型機械学習モデルを実証する。 提案手法は, パラメータ推定と計算時間において, 通常の非線形最小二乗整合と比較して明らかに改善されている。
  論文  参考訳（メタデータ） (2022-10-05T15:51:39Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。 トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。 本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
  論文  参考訳（メタデータ） (2021-08-30T06:09:02Z)
• Tourbillon: a Physically Plausible Neural Architecture [8.7660229706359]
  Tourbillonは、バックプロパゲーションの制限に対処する新しいアーキテクチャである。 Tourbillonは、バックプロパゲーションで訓練されたモデルに匹敵するパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2021-07-13T22:51:42Z)
• Predicting Chemical Properties using Self-Attention Multi-task Learning based on SMILES Representation [0.0]
  本研究では,変圧器変圧器モデルの構造的差異について検討し,新しい自己注意モデルを提案する。 不均衡な化学データセットを用いたマルチタスク学習環境において,自己認識モジュールの表現学習性能を評価した。
  論文  参考訳（メタデータ） (2020-10-19T09:46:50Z)
• Learning to Encode Position for Transformer with Continuous Dynamical Model [88.69870971415591]
  本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。 このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
  論文  参考訳（メタデータ） (2020-03-13T00:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。