論文の概要: Convolutions Through the Lens of Tensor Networks

• arxiv url: http://arxiv.org/abs/2307.02275v1
• Date: Wed, 5 Jul 2023 13:19:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 13:46:02.602942
• Title: Convolutions Through the Lens of Tensor Networks
• Title（参考訳）: テンソルネットワークのレンズによる畳み込み
• Authors: Felix Dangel
• Abstract要約: テンソルネットワーク(TN)による畳み込みの新しい視点を提供する。 TNは、ダイアグラムを描画し、関数変換、サブテンソルアクセス、融合を実行するためにそれらを操作することによって、基礎となるテンソル乗法を推論することができる。 種々のオートディフ演算の図式と2次情報の一般的な近似を導出することにより、この表現力を実証する。
• 参考スコア（独自算出の注目度）: 2.6397379133308214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their simple intuition, convolutions are more tedious to analyze than dense layers, which complicates the generalization of theoretical and algorithmic ideas. We provide a new perspective onto convolutions through tensor networks (TNs) which allow reasoning about the underlying tensor multiplications by drawing diagrams, and manipulating them to perform function transformations, sub-tensor access, and fusion. We demonstrate this expressive power by deriving the diagrams of various autodiff operations and popular approximations of second-order information with full hyper-parameter support, batching, channel groups, and generalization to arbitrary convolution dimensions. Further, we provide convolution-specific transformations based on the connectivity pattern which allow to re-wire and simplify diagrams before evaluation. Finally, we probe computational performance, relying on established machinery for efficient TN contraction. Our TN implementation speeds up a recently-proposed KFAC variant up to 4.5x and enables new hardware-efficient tensor dropout for approximate backpropagation.
• Abstract（参考訳）: 単純な直観にもかかわらず、畳み込みは、理論とアルゴリズムのアイデアの一般化を複雑にする、密集層よりも分析が難しい。 テンソルネットワーク (tns) による畳み込みに対する新たな視点を提供し, 図面を描き, 関数変換, サブテンソルアクセス, 融合を行うように操作することで, 基礎となるテンソル乗算を推論できる。 この表現力は、様々なオートディフ演算のダイアグラムと、フルハイパーパラメータのサポート、バッチ化、チャネルグループ、任意の畳み込み次元への一般化による2階情報の一般的な近似を導出したものである。 さらに,コネクティビティパターンに基づく畳み込み特有の変換を提供し,評価前の図の再配線と単純化を可能にした。 最後に,TNの効率的な収縮のために確立された機械に依存する計算性能を探索する。 我々のTN実装は、最近提案されたKFAC変種を4.5倍に高速化し、近似バックプロパゲーションのための新しいハードウェア効率のテンソルドロップアウトを可能にする。

関連論文リスト

• Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
  可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。 提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。 実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T13:00:44Z)
• conv_einsum: A Framework for Representation and Fast Evaluation of Multilinear Operations in Convolutional Tensorial Neural Networks [28.416123889998243]
  本研究では,テンソル畳み込み層をeinsumのような文字列として表現するフレームワークと,FLOPを最小化してこれらの文字列を評価するメタアルゴリズムであるconv_einsumを開発する。
  論文  参考訳（メタデータ） (2024-01-07T04:30:12Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Empowering Networks With Scale and Rotation Equivariance Using A Similarity Convolution [16.853711292804476]
  翻訳, 回転, スケーリングに関して, 同時同値のCNNを実現する手法を考案する。 提案手法は畳み込みのような動作を定義し,提案したスケーラブルなフーリエ・アーガン表現に基づいて等価性を保証する。 画像分類作業におけるアプローチの有効性を検証し、その頑健さと、スケールされた入力と回転した入力の両方に対する一般化能力を示す。
  論文  参考訳（メタデータ） (2023-03-01T08:43:05Z)
• OneDConv: Generalized Convolution For Transform-Invariant Representation [76.15687106423859]
  一般化された一次元畳み込み作用素(OneDConv)を提案する。 計算的かつパラメトリック的に効率的な方法で入力特徴に基づいて、畳み込みカーネルを動的に変換する。 一般的な画像のパフォーマンスを犠牲にすることなく、畳み込みの堅牢性と一般化を改善する。
  論文  参考訳（メタデータ） (2022-01-15T07:44:44Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)
• Adaptive Learning of Tensor Network Structures [6.407946291544721]
  我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
  論文  参考訳（メタデータ） (2020-08-12T16:41:56Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。