論文の概要: Named Tensor Notation
- arxiv url: http://arxiv.org/abs/2102.13196v1
- Date: Thu, 25 Feb 2021 22:21:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-02 05:16:11.929032
- Title: Named Tensor Notation
- Title（参考訳）: テンソル表記法
- Authors: David Chiang, Alexander M. Rush, Boaz Barak
- Abstract要約: 名前付き軸を持つテンソルの表記法を提案する。
著者、読者、および将来の実装者は、軸の順序を追跡する負担から解放されます。
また、低階テンソル上の操作を高階テンソルに拡張するのも容易である。
- 参考スコア（独自算出の注目度）: 117.30373263410507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a notation for tensors with named axes, which relieves the author,
reader, and future implementers from the burden of keeping track of the order
of axes and the purpose of each. It also makes it easy to extend operations on
low-order tensors to higher order ones (e.g., to extend an operation on images
to minibatches of images, or extend the attention mechanism to multiple
attention heads). After a brief overview of our notation, we illustrate it
through several examples from modern machine learning, from building blocks
like attention and convolution to full models like Transformers and LeNet.
Finally, we give formal definitions and describe some extensions. Our proposals
build on ideas from many previous papers and software libraries. We hope that
this document will encourage more authors to use named tensors, resulting in
clearer papers and less bug-prone implementations.
The source code for this document can be found at
https://github.com/namedtensor/notation/. We invite anyone to make comments on
this proposal by submitting issues or pull requests on this repository.
- Abstract（参考訳）: 著者, 読者, 将来の実装者に対して, 軸の順序とそれぞれの目的の追跡の負担を和らげるために, 名前付き軸を持つテンソルの表記法を提案する。
また、低階テンソルの操作を高階テンソルに拡張することも容易である(例えば、画像上の操作を画像のミニバッチに拡張したり、注意メカニズムを複数の注意ヘッドに拡張したりする)。
表記法の簡単な概要を説明した後、注意や畳み込みといったビルディングブロックから、transformersやlenetといったフルモデルまで、現代的な機械学習からいくつかの例を紹介します。
最後に、形式的な定義を与え、いくつかの拡張を記述する。
我々の提案は、以前の多くの論文やソフトウェアライブラリのアイデアに基づいている。
このドキュメントは、より多くの著者に名前付きテンソルの使用を奨励し、より明確な論文とバグの少ない実装をもたらすことを願っています。
この文書のソースコードはhttps://github.com/namedtensor/notation/にある。
この提案について、問題やプルリクエストをレポジトリに提出することで、誰でもコメントを頂きたいと思います。
関連論文リスト
- Very Basics of Tensors with Graphical Notations: Unfolding, Calculations, and Decompositions [4.092862870428798]
この講義ノートはテンソルの基本と、それらを数学的記号やグラフィカル表記で表現する方法に関するものである。
この講義ノートの目的は、テンソルの基本とそれらを数学的記号やグラフィカル表記で表現する方法を学ぶことである。
論文 参考訳（メタデータ） (2024-11-25T05:02:35Z) - A Sparse Tensor Generator with Efficient Feature Extraction [1.3124513975412255]
スパーステンソル演算の研究の大きな障害は、広範囲のスパーステンソルデータセットの欠如である。
我々は,実スパーステンソルの実質的な特徴を模倣するスマートスパーステンソルジェネレータを開発した。
筆者らのジェネレータの有効性は,特徴の質と分解性能によって検証される。
論文 参考訳（メタデータ） (2024-05-08T10:28:20Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳（メタデータ） (2024-04-18T09:17:06Z) - Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic
Interpretability: A Case Study on Othello-GPT [59.245414547751636]
本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。
当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。
我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
論文 参考訳（メタデータ） (2024-02-19T15:04:53Z) - What Are You Token About? Dense Retrieval as Distributions Over the
Vocabulary [68.77983831618685]
本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。
得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
論文 参考訳（メタデータ） (2022-12-20T16:03:25Z) - Longtonotes: OntoNotes with Longer Coreference Chains [111.73115731999793]
コア参照アノテートされたドキュメントのコーパスを,現在利用可能なものよりもはるかに長い長さで構築する。
結果として得られたコーパスはLongtoNotesと呼ばれ、様々な長さの英語の複数のジャンルの文書を含んでいる。
この新しいコーパスを用いて,最先端のニューラルコアシステムの評価を行った。
論文 参考訳（メタデータ） (2022-10-07T15:58:41Z) - Stack operation of tensor networks [10.86105335102537]
本稿では,テンソルネットワークスタックアプローチに対する数学的に厳密な定義を提案する。
本稿では、行列製品状態に基づく機械学習を例として、主なアイデアを例に挙げる。
論文 参考訳（メタデータ） (2022-03-28T12:45:13Z) - DMRjulia: Tensor recipes for entanglement renormalization computations [0.0]
DMRjuliaライブラリに含まれる機能の詳細はここにある。
本稿では,高密度テンソルに対するテンソルネットワークライブラリにおける関数の実装について述べる。
論文 参考訳（メタデータ） (2021-11-29T13:41:59Z) - Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data
via Differentiable Cross-Approximation [53.95297550117153]
本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。
提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
論文 参考訳（メタデータ） (2021-05-29T08:39:57Z) - Entanglement and Tensor Networks for Supervised Image Classification [0.0]
我々は手書き文字の桁のMNISTデータセットを用いてテンソルネットワークを用いて教師付き画像分類を行う。
我々は、その絡み合い特性を検証し、可算候補状態 $|Sigma_ellrangle$ を提案する。
我々は、$|Sigma_ellrangle$ が非常に強く絡み合っているので、その作業で使用されるテンソルネットワークでは近似できないと結論づける。
論文 参考訳（メタデータ） (2020-07-12T20:09:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。