論文の概要: An introduction to graphical tensor notation for mechanistic interpretability

• arxiv url: http://arxiv.org/abs/2402.01790v1
• Date: Fri, 2 Feb 2024 02:56:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 01:49:47.993709
• Title: An introduction to graphical tensor notation for mechanistic interpretability
• Title（参考訳）: 機械解釈のための図形テンソル表記法入門
• Authors: Jordan K. Taylor
• Abstract要約: テンソル間でどの操作が行われているのかを混乱させるのは容易です。 この文書の前半は表記法を導入し、いくつかの分解に適用する。 後半は、言語モデルを機械的に理解するためのいくつかの基本的なアプローチに適用します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graphical tensor notation is a simple way of denoting linear operations on tensors, originating from physics. Modern deep learning consists almost entirely of operations on or between tensors, so easily understanding tensor operations is quite important for understanding these systems. This is especially true when attempting to reverse-engineer the algorithms learned by a neural network in order to understand its behavior: a field known as mechanistic interpretability. It's often easy to get confused about which operations are happening between tensors and lose sight of the overall structure, but graphical tensor notation makes it easier to parse things at a glance and see interesting equivalences. The first half of this document introduces the notation and applies it to some decompositions (SVD, CP, Tucker, and tensor network decompositions), while the second half applies it to some existing some foundational approaches for mechanistically understanding language models, loosely following ``A Mathematical Framework for Transformer Circuits'', then constructing an example ``induction head'' circuit in graphical tensor notation.
• Abstract（参考訳）: グラフィカルテンソル記法(英: graphical tensor notation)は、物理学に由来するテンソル上の線型演算を表す単純な方法である。 現代の深層学習はテンソル上の操作とテンソル間の操作の両方から成り立っているため、テンソル操作を理解することはこれらのシステムを理解する上で非常に重要である。 これは、その振る舞いを理解するためにニューラルネットワークによって学習されたアルゴリズムをリバースエンジニアリングしようとするときに特に当てはまる。 テンソル間の操作を混乱させ、全体構造を見失うことはよくありますが、グラフィカルテンソル表記法によって、物事を一目で解析し、興味深い等価性を見るのがより簡単になります。 この文書の前半は表記を導入し、いくつかの分解(SVD, CP, Tucker, テンソルネットワーク分解)に適用し、後半は機械的に言語モデルを理解するためのいくつかの基礎的なアプローチに適用し、緩やかに 'A Mathematical Framework for Transformer Circuits'' に従って、図形テンソル表記法で 'induction head' 回路の例を構築する。

関連論文リスト

• The Tensor as an Informational Resource [1.5410557873153832]
  テンソル(英: tensor)は、データの保存、計算関係のエンコード、量子絡み合いの表現に使用できる数列である。 テンソル上の情報理論的に構築された事前順序の族を提案し、テンソルを互いに比較し、それらの間の変換の存在を評価する。
  論文  参考訳（メタデータ） (2023-11-03T18:47:39Z)
• Decomposition of linear tensor transformations [0.0]
  本研究の目的は, 正確なテンソル分解のための数学的枠組みを開発することである。 論文では3つの異なる問題を導出する。
  論文  参考訳（メタデータ） (2023-09-14T16:14:38Z)
• Symbolically integrating tensor networks over various random tensors by the second version of Python RTNI [0.5439020425818999]
  我々は、Haar分散ユニタリ行列上のテンソルネットワークを象徴的に統合するRTNIのPythonバージョンをアップグレードしている。 現在、PyRTNI2 はハール分布行列と実かつ複素正規ガウステンソルも扱うことができる。 本稿では,プログラムの背後にある数学を説明し,それを用いてどのようなテンソルネットワーク計算を行うことができるかを示す。
  論文  参考訳（メタデータ） (2023-09-03T13:14:46Z)
• TensorKrowch: Smooth integration of tensor networks in machine learning [46.0920431279359]
  PyTorch上に構築されたオープンソースのPythonライブラリであるKrowchを紹介します。 ユーザは任意のテンソルネットワークを構築してトレーニングし、より複雑なディープラーニングモデルにレイヤとして統合することができる。
  論文  参考訳（メタデータ） (2023-06-14T15:55:19Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor Decompositions [51.19236668224547]
  テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。 テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。 さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
  論文  参考訳（メタデータ） (2022-07-15T11:55:09Z)
• Tensor networks in machine learning [0.0]
  テンソルネットワーク(テンソルネットワーク)は、大規模なデータ配列を表現および近似するために用いられる分解である。 テンソルネットワークと機械学習の融合は自然である。 ここで、ネットワークパラメータを調整して、データセットを学習または分類する。
  論文  参考訳（メタデータ） (2022-07-06T18:00:00Z)
• Stack operation of tensor networks [10.86105335102537]
  本稿では,テンソルネットワークスタックアプローチに対する数学的に厳密な定義を提案する。 本稿では、行列製品状態に基づく機械学習を例として、主なアイデアを例に挙げる。
  論文  参考訳（メタデータ） (2022-03-28T12:45:13Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Tensor Methods in Computer Vision and Deep Learning [120.3881619902096]
  テンソル(tensor)は、複数の次元の視覚データを自然に表現できるデータ構造である。 コンピュータビジョンにおけるディープラーニングパラダイムシフトの出現により、テンソルはさらに基本的なものになっている。 本稿では,表現学習と深層学習の文脈において,テンソルとテンソル法を深く,実践的に検討する。
  論文  参考訳（メタデータ） (2021-07-07T18:42:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。