論文の概要: Convolutions and More as Einsum: A Tensor Network Perspective with Advances for Second-Order Methods

• arxiv url: http://arxiv.org/abs/2307.02275v2
• Date: Wed, 23 Oct 2024 22:47:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:51:49.086995
• Title: Convolutions and More as Einsum: A Tensor Network Perspective with Advances for Second-Order Methods
• Title（参考訳）: Einsumとしての畳み込みとさらなる発展: 2次法の進歩とテンソルネットワークの展望
• Authors: Felix Dangel,
• Abstract要約: 我々はそれらをテンソルネットワーク(TN)として見ることで畳み込みを単純化する TN はダイアグラムを描画し、微分のような関数変換を実行するようにそれらを操作し、それらを固有値で効率的に評価することで、基礎となるテンソル乗法を推論することができる。 我々のTN実装は、標準実装のメモリオーバーヘッドをなくしながら、最大4.5倍のKFAC変異を加速し、近似バックプロパゲーションのための新しいハードウェア効率の良いドロップアウトを可能にする。
• 参考スコア（独自算出の注目度）: 2.8645507575980074
• License:
• Abstract: Despite their simple intuition, convolutions are more tedious to analyze than dense layers, which complicates the transfer of theoretical and algorithmic ideas to convolutions. We simplify convolutions by viewing them as tensor networks (TNs) that allow reasoning about the underlying tensor multiplications by drawing diagrams, manipulating them to perform function transformations like differentiation, and efficiently evaluating them with einsum. To demonstrate their simplicity and expressiveness, we derive diagrams of various autodiff operations and popular curvature approximations with full hyper-parameter support, batching, channel groups, and generalization to any convolution dimension. Further, we provide convolution-specific transformations based on the connectivity pattern which allow to simplify diagrams before evaluation. Finally, we probe performance. Our TN implementation accelerates a recently-proposed KFAC variant up to 4.5x while removing the standard implementation's memory overhead, and enables new hardware-efficient tensor dropout for approximate backpropagation.
• Abstract（参考訳）: 単純な直観にもかかわらず、畳み込みは密度の高い層よりも分析しやすく、畳み込みへの理論的およびアルゴリズム的アイデアの移動を複雑にする。 我々は、これらをテンソルネットワーク(TN)と見なして、図を描き、それらを操作して微分のような関数変換を実行し、それらを効率的に評価することで、畳み込みを単純化する。 その単純さと表現性を示すために、様々なオートディフ演算の図式と、フルハイパーパラメータのサポート、バッチ化、チャネル群、任意の畳み込み次元への一般化を含む一般的な曲率近似を導出する。 さらに、接続パターンに基づいた畳み込み固有の変換を提供し、評価前の図を簡素化する。 最後に、性能を調査する。 我々のTN実装は、最近提案されたKFAC変種を4.5倍に加速し、標準実装のメモリオーバーヘッドを除去し、近似バックプロパゲーションのための新しいハードウェア効率の高いテンソルドロップアウトを可能にする。

関連論文リスト

• conv_einsum: A Framework for Representation and Fast Evaluation of Multilinear Operations in Convolutional Tensorial Neural Networks [28.416123889998243]
  本研究では,テンソル畳み込み層をeinsumのような文字列として表現するフレームワークと,FLOPを最小化してこれらの文字列を評価するメタアルゴリズムであるconv_einsumを開発する。
  論文  参考訳（メタデータ） (2024-01-07T04:30:12Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Empowering Networks With Scale and Rotation Equivariance Using A Similarity Convolution [16.853711292804476]
  翻訳, 回転, スケーリングに関して, 同時同値のCNNを実現する手法を考案する。 提案手法は畳み込みのような動作を定義し,提案したスケーラブルなフーリエ・アーガン表現に基づいて等価性を保証する。 画像分類作業におけるアプローチの有効性を検証し、その頑健さと、スケールされた入力と回転した入力の両方に対する一般化能力を示す。
  論文  参考訳（メタデータ） (2023-03-01T08:43:05Z)
• A Feedforward Unitary Equivariant Neural Network [3.6220250022337335]
  我々は新しいタイプのフィードフォワードニューラルネットワークを考案した。 これはユニタリ群 $U(n)$ に対して同変である。 入力と出力は任意の次元が$n$の$mathbbCn$のベクトルである。
  論文  参考訳（メタデータ） (2022-08-25T15:05:02Z)
• OneDConv: Generalized Convolution For Transform-Invariant Representation [76.15687106423859]
  一般化された一次元畳み込み作用素(OneDConv)を提案する。 計算的かつパラメトリック的に効率的な方法で入力特徴に基づいて、畳み込みカーネルを動的に変換する。 一般的な画像のパフォーマンスを犠牲にすることなく、畳み込みの堅牢性と一般化を改善する。
  論文  参考訳（メタデータ） (2022-01-15T07:44:44Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)
• Adaptive Learning of Tensor Network Structures [6.407946291544721]
  我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
  論文  参考訳（メタデータ） (2020-08-12T16:41:56Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。