論文の概要: Interpreting Transformer's Attention Dynamic Memory and Visualizing the Semantic Information Flow of GPT

• arxiv url: http://arxiv.org/abs/2305.13417v1
• Date: Mon, 22 May 2023 19:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 20:58:59.777505
• Title: Interpreting Transformer's Attention Dynamic Memory and Visualizing the Semantic Information Flow of GPT
• Title（参考訳）: 変圧器の注意動的記憶の解釈とGPTの意味情報フローの可視化
• Authors: Shahar Katz, Yonatan Belinkov
• Abstract要約: 近年の解釈可能性の進歩は、トランスフォーマーベース言語モデルの重みと隠れ状態を語彙に投影できることを示唆している。 本稿では,LMアテンションヘッドとメモリ値,モデルが与えられた入力を処理しながら動的に生成し,リコールするベクトルを解釈する。 対話型フローグラフとして生成事前学習変換器(GPT)の前方通過を可視化するツールを作成する。
• 参考スコア（独自算出の注目度）: 28.949004915740776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in interpretability suggest we can project weights and hidden states of transformer-based language models (LMs) to their vocabulary, a transformation that makes them human interpretable and enables us to assign semantics to what was seen only as numerical vectors. In this paper, we interpret LM attention heads and memory values, the vectors the models dynamically create and recall while processing a given input. By analyzing the tokens they represent through this projection, we identify patterns in the information flow inside the attention mechanism. Based on these discoveries, we create a tool to visualize a forward pass of Generative Pre-trained Transformers (GPTs) as an interactive flow graph, with nodes representing neurons or hidden states and edges representing the interactions between them. Our visualization simplifies huge amounts of data into easy-to-read plots that reflect why models output their results. We demonstrate the utility of our modeling by identifying the effect LM components have on the intermediate processing in the model before outputting a prediction. For instance, we discover that layer norms are used as semantic filters and find neurons that act as regularization vectors.
• Abstract（参考訳）: 近年の解釈可能性の進歩は、トランスフォーマーベースの言語モデル(lms)の重みと隠れた状態が語彙に投影できることを示唆している。 本稿では,LMアテンションヘッドとメモリ値,モデルが与えられた入力を処理しながら動的に生成し,リコールするベクトルを解釈する。 このプロジェクションを通じて表現するトークンを分析することで,注意機構内の情報フローのパターンを識別する。 これらの発見に基づいて,生成事前学習トランスフォーマー(GPT)の前方通過を対話的フローグラフとして可視化するツールを作成し,ノードがニューロン,隠れ状態,エッジが相互の相互作用を表す。 私たちの視覚化は、モデルが結果を出力する理由を反映した大量のデータを、読みやすいプロットに単純化します。 我々は,モデル内の中間処理に対するlm成分の影響を予測出力前に同定し,モデリングの有用性を示す。 例えば、レイヤーノルムがセマンティックフィルタとして使われ、正規化ベクトルとして機能するニューロンを見つける。

関連論文リスト

• Talking Heads: Understanding Inter-layer Communication in Transformer Language Models [32.2976613483151]
  2つのLMで用いられるメカニズムを分析し、1つのタスクでコンテキスト内のアイテムを選択的に抑制する。 モデルが残ストリームの低ランクな部分空間に書き込まれて,後続のレイヤで読み出される特徴を表現することが分かりました。
  論文  参考訳（メタデータ） (2024-06-13T18:12:01Z)
• Vision Transformers Need Registers [26.63912173005165]
  教師付きと自己監督型の両方のViTネットワークの特徴マップのアーティファクトを特定し,特徴付けする。 このソリューションは、教師付きモデルと自己教師型モデルの両方で完全にその問題を解決する。
  論文  参考訳（メタデータ） (2023-09-28T16:45:46Z)
• On the Transition from Neural Representation to Symbolic Knowledge [2.2528422603742304]
  本稿では,EMアルゴリズムを用いてデータのトランザクショナル表現を学習するニューラルネットワークトランザクショナル辞書学習(TDL)フレームワークを提案する。 我々は,協調ゲームとしての入力の分解に関して,拡散モデルを用いてフレームワークを実装した。 さらに、マルコフモデルによって実現されたRLを用いて、学習したプロトタイプをさらに調整する。
  論文  参考訳（メタデータ） (2023-08-03T19:29:35Z)
• AttentionViz: A Global View of Transformer Attention [60.82904477362676]
  本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。 提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。 このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
  論文  参考訳（メタデータ） (2023-05-04T23:46:49Z)
• Holistically Explainable Vision Transformers [136.27303006772294]
  本稿では,B-cos変換器を提案する。 具体的には、各モデルコンポーネント(多層パーセプトロン、注意層、トークン化モジュールなど)を動的線形に定式化する。 提案した設計をViT(Vision Transformers)に適用し,Bcos-ViTと呼ばれるモデルが高解釈可能であり,ベースラインのViTと競合することを示す。
  論文  参考訳（メタデータ） (2023-01-20T16:45:34Z)
• Wide and Narrow: Video Prediction from Context and Motion [54.21624227408727]
  本稿では,これらの相補的属性を統合し,深層ネットワークを通した複雑なピクセルのダイナミックスを予測するフレームワークを提案する。 本研究では,非局所的な近隣表現を集約し,過去のフレーム上の文脈情報を保存するグローバルなコンテキスト伝搬ネットワークを提案する。 また,移動オブジェクトの動作をメモリに格納することで,適応的なフィルタカーネルを生成するローカルフィルタメモリネットワークを考案した。
  論文  参考訳（メタデータ） (2021-10-22T04:35:58Z)
• Incorporating Residual and Normalization Layers into Analysis of Masked Language Models [29.828669678974983]
  我々は、トランスフォーマーの分析範囲を、単に注目パターンから注目ブロック全体まで拡張する。 トランスフォーマーをベースとしたマスキング言語モデルの解析により,トークンとトークンの相互作用が従来想定されていた中間表現にほとんど影響を与えないことが分かる。
  論文  参考訳（メタデータ） (2021-09-15T08:32:20Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• VisBERT: Hidden-State Visualizations for Transformers [66.86452388524886]
  VisBERTは,複数の質問応答のタスクに対して,BERT内のコンテキストトークン表現を可視化するツールである。 VisBERTは、モデルの内部状態に関する洞察を得て、推論ステップや潜在的な欠点を探索することを可能にする。
  論文  参考訳（メタデータ） (2020-11-09T15:37:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。