論文の概要: Convolutions Through the Lens of Tensor Networks
- arxiv url: http://arxiv.org/abs/2307.02275v1
- Date: Wed, 5 Jul 2023 13:19:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 13:46:02.602942
- Title: Convolutions Through the Lens of Tensor Networks
- Title(参考訳): テンソルネットワークのレンズによる畳み込み
- Authors: Felix Dangel
- Abstract要約: テンソルネットワーク(TN)による畳み込みの新しい視点を提供する。
TNは、ダイアグラムを描画し、関数変換、サブテンソルアクセス、融合を実行するためにそれらを操作することによって、基礎となるテンソル乗法を推論することができる。
種々のオートディフ演算の図式と2次情報の一般的な近似を導出することにより、この表現力を実証する。
- 参考スコア(独自算出の注目度): 2.6397379133308214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their simple intuition, convolutions are more tedious to analyze than
dense layers, which complicates the generalization of theoretical and
algorithmic ideas. We provide a new perspective onto convolutions through
tensor networks (TNs) which allow reasoning about the underlying tensor
multiplications by drawing diagrams, and manipulating them to perform function
transformations, sub-tensor access, and fusion. We demonstrate this expressive
power by deriving the diagrams of various autodiff operations and popular
approximations of second-order information with full hyper-parameter support,
batching, channel groups, and generalization to arbitrary convolution
dimensions. Further, we provide convolution-specific transformations based on
the connectivity pattern which allow to re-wire and simplify diagrams before
evaluation. Finally, we probe computational performance, relying on established
machinery for efficient TN contraction. Our TN implementation speeds up a
recently-proposed KFAC variant up to 4.5x and enables new hardware-efficient
tensor dropout for approximate backpropagation.
- Abstract(参考訳): 単純な直観にもかかわらず、畳み込みは、理論とアルゴリズムのアイデアの一般化を複雑にする、密集層よりも分析が難しい。
テンソルネットワーク (tns) による畳み込みに対する新たな視点を提供し, 図面を描き, 関数変換, サブテンソルアクセス, 融合を行うように操作することで, 基礎となるテンソル乗算を推論できる。
この表現力は、様々なオートディフ演算のダイアグラムと、フルハイパーパラメータのサポート、バッチ化、チャネルグループ、任意の畳み込み次元への一般化による2階情報の一般的な近似を導出したものである。
さらに,コネクティビティパターンに基づく畳み込み特有の変換を提供し,評価前の図の再配線と単純化を可能にした。
最後に,TNの効率的な収縮のために確立された機械に依存する計算性能を探索する。
我々のTN実装は、最近提案されたKFAC変種を4.5倍に高速化し、近似バックプロパゲーションのための新しいハードウェア効率のテンソルドロップアウトを可能にする。
関連論文リスト
- conv_einsum: A Framework for Representation and Fast Evaluation of
Multilinear Operations in Convolutional Tensorial Neural Networks [28.416123889998243]
本研究では,テンソル畳み込み層をeinsumのような文字列として表現するフレームワークと,FLOPを最小化してこれらの文字列を評価するメタアルゴリズムであるconv_einsumを開発する。
論文 参考訳(メタデータ) (2024-01-07T04:30:12Z) - Scalable Neural Network Kernels [22.299704296356836]
我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。
また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。
我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
論文 参考訳(メタデータ) (2023-10-20T02:12:56Z) - B-cos Alignment for Inherently Interpretable CNNs and Vision
Transformers [97.75725574963197]
本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。
このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。
得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
論文 参考訳(メタデータ) (2023-06-19T12:54:28Z) - OneDConv: Generalized Convolution For Transform-Invariant Representation [76.15687106423859]
一般化された一次元畳み込み作用素(OneDConv)を提案する。
計算的かつパラメトリック的に効率的な方法で入力特徴に基づいて、畳み込みカーネルを動的に変換する。
一般的な画像のパフォーマンスを犠牲にすることなく、畳み込みの堅牢性と一般化を改善する。
論文 参考訳(メタデータ) (2022-01-15T07:44:44Z) - Revisiting Transformation Invariant Geometric Deep Learning: Are Initial
Representations All You Need? [80.86819657126041]
変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。
具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。
我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
論文 参考訳(メタデータ) (2021-12-23T03:52:33Z) - A tensor network representation of path integrals: Implementation and
analysis [0.0]
ファインマン・ヴァーノン効果関数を含む経路積分シミュレーションのテンソルネットワークに基づく新しい分解法を提案する。
影響関数によって導入された有限の一時的な非局所相互作用は、行列積状態表現を用いて非常に効率的に捉えることができる。
AP-TNPIフレームワークの柔軟性により、非平衡量子力学のための経路積分法ファミリーに新たな期待が持てる。
論文 参考訳(メタデータ) (2021-06-23T16:41:54Z) - Self-Supervised Graph Representation Learning via Topology
Transformations [61.870882736758624]
本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。
実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
論文 参考訳(メタデータ) (2021-05-25T06:11:03Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - Adaptive Learning of Tensor Network Structures [6.407946291544721]
我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。
本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
論文 参考訳(メタデータ) (2020-08-12T16:41:56Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳(メタデータ) (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。