論文の概要: InversionView: A General-Purpose Method for Reading Information from Neural Activations

• arxiv url: http://arxiv.org/abs/2405.17653v4
• Date: Sat, 02 Nov 2024 19:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:45:12.276740
• Title: InversionView: A General-Purpose Method for Reading Information from Neural Activations
• Title（参考訳）: InversionView:ニューラルアクティベーションから情報を読む汎用的方法
• Authors: Xinting Huang, Madhur Panwar, Navin Goyal, Michael Hahn,
• Abstract要約: ニューラル・アクティベーションに符号化された情報を 完全に解読できれば ニューラルネットワークの内部動作は よりよく理解できる InversionViewを提案し、アクティベーションに条件付きトレーニングされたデコーダモデルからサンプリングすることで、このサブセットを実際に検査することができる。
• 参考スコア（独自算出の注目度）: 14.586483645544119
• License:
• Abstract: The inner workings of neural networks can be better understood if we can fully decipher the information encoded in neural activations. In this paper, we argue that this information is embodied by the subset of inputs that give rise to similar activations. We propose InversionView, which allows us to practically inspect this subset by sampling from a trained decoder model conditioned on activations. This helps uncover the information content of activation vectors, and facilitates understanding of the algorithms implemented by transformer models. We present four case studies where we investigate models ranging from small transformers to GPT-2. In these studies, we show that InversionView can reveal clear information contained in activations, including basic information about tokens appearing in the context, as well as more complex information, such as the count of certain tokens, their relative positions, and abstract knowledge about the subject. We also provide causally verified circuits to confirm the decoded information.
• Abstract（参考訳）: ニューラルネットワークの内部動作は、ニューラルアクティベーションで符号化された情報を完全に解読できれば、よりよく理解できる。 本稿では、この情報が、同様のアクティベーションを引き起こす入力のサブセットによって具現化されていることを論じる。 InversionViewを提案し、アクティベーションに条件付きトレーニングされたデコーダモデルからサンプリングすることで、このサブセットを実際に検査することができる。 これにより、アクティベーションベクトルの情報内容が明らかになり、トランスフォーマーモデルによって実装されたアルゴリズムの理解が容易になる。 本研究は,小型変圧器からGPT-2までのモデルについて検討する4つのケーススタディである。 本研究では,InversionViewがアクティベーションに含まれる明確な情報を明らかにするとともに,特定のトークン数,相対位置,主題に関する抽象的知識など,より複雑な情報も提示できることを示す。 また、復号化情報を確認するための因果検証回路も提供する。

関連論文リスト

• VISIT: Visualizing and Interpreting the Semantic Information Flow of Transformers [45.42482446288144]
  近年の解釈可能性の進歩は、トランスフォーマーベース言語モデルの重みと隠れ状態を語彙に投影できることを示唆している。 LMアテンションヘッドとメモリ値、モデルが与えられた入力を処理しながら動的に生成し、リコールするベクトルについて検討する。 対話型フローグラフとして生成事前学習変換器(GPT)の前方通過を可視化するツールを作成する。
  論文  参考訳（メタデータ） (2023-05-22T19:04:56Z)
• Object Discovery from Motion-Guided Tokens [50.988525184497334]
  自動エンコーダ表現学習フレームワークを、モーションガイダンスと中間レベルの特徴トークン化により強化する。 我々のアプローチは、解釈可能なオブジェクト固有の中間レベルの特徴の出現を可能にする。
  論文  参考訳（メタデータ） (2023-03-27T19:14:00Z)
• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning [7.804994311050265]
  データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。 本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。 一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
  論文  参考訳（メタデータ） (2022-11-02T19:37:55Z)
• Informative Text Generation from Knowledge Triples [56.939571343797304]
  本稿では,トレーニング中に学習した有用な知識を記憶するために,メモリネットワークを利用した新しいメモリ拡張ジェネレータを提案する。 我々は、新しい設定のためのWebNLGからデータセットを導き、我々のモデルの有効性を調べるための広範な実験を行う。
  論文  参考訳（メタデータ） (2022-09-26T14:35:57Z)
• Rethinking Global Context in Crowd Counting [70.54184500538338]
  純粋な変換器は、重なり合う画像パッチからグローバル情報で特徴を抽出するために用いられる。 分類によってインスピレーションを得て、入力シーケンスにコンテキストトークンを追加し、画像パッチに対応するトークンと情報交換を容易にする。
  論文  参考訳（メタデータ） (2021-05-23T12:44:27Z)
• Vector-Quantized Autoregressive Predictive Coding [31.4011465698136]
  本稿では,Vector-Quantized Autoregressive Predictive Coding (VQ-APC)を提案する。 制限されたモデルの列を研究することで、学習された表現の構成要素を明らかにする。 音声情報や話者情報を増幅して、自己監督対象を最大化する点が存在することがわかった。
  論文  参考訳（メタデータ） (2020-05-17T23:06:09Z)
• BiDet: An Efficient Binarized Object Detector [96.19708396510894]
  本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。 我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。 我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2020-03-09T08:16:16Z)
• Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations [143.3053365553897]
  本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。 忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。 我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
  論文  参考訳（メタデータ） (2020-03-05T23:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。