論文の概要: Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Compression of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2606.00130v1
• Date: Thu, 28 May 2026 19:43:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:27.987957
• Title: Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Compression of Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークの指数圧縮のための自動微分可能非線形テンソルネットワーク(ADNTNs)
• Authors: Andrzej Cichocki, Michal Wietczak,
• Abstract要約: ADNTNは、逆モード自動微分(AD)によりエンドツーエンドに訓練されたコンパクトコアテンソルを持つ構造付きウェイトジェネレータのファミリーである 本稿では,木ネットワーク(TTN),拡張TTN(aTTN),拡張TTN(aTTN),マルチスケールエンタングルメント・リノベーション(MERA)の3つのアーキテクチャに焦点を当てる。
• 参考スコア（独自算出の注目度）: 8.605564917115663
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study Automatically Differentiable Nonlinear Tensor Networks (ADNTNs), a family of structured weight generators whose compact core tensors are trained end-to-end by reverse-mode automatic differentiation (AD). The approach can be viewed as a natural extension of low-rank adaptation and tensor factorisation: instead of using one low-rank matrix update, an ADNTN builds a large weight tensor through a hierarchy of small cores, nonlinear activations, and optional lateral mixing tensors. The paper focuses on three architectures: Tree Tensor Networks (TTNs), augmented TTNs (aTTNs) with boundary disentanglers, and Multi-scale Entanglement Renormalisation Ansatze (MERA). The formulation supports nonlinear activations, task-aware objectives, batching, and hardware-aware execution schedules. At the same time, the paper keeps a clear distinction between \emph{differentiating} a contraction program and making contraction free: AD does not remove the cost of large intermediates, poor contraction orders, or exact contraction of general loopy tensor networks. Extensive simulations on AlexNet and VGG-16 layers show per-layer compression ratios from roughly $2000\times$ to $77000\times$ in the studied settings, with accuracy often matching the dense baseline and, in several VGG-16 cases, improving it. These results are encouraging rather than final: they suggest that ADNTNs are a promising, mathematically structured, and hardware-aware route toward much smaller neural networks, provided that optimisation, contraction schedules, and deployment kernels are designed together.
• Abstract（参考訳）: 本研究では, 逆モード自動微分(AD)により, コンパクトなコアテンソルをエンドツーエンドに訓練した構造重み発生器群であるADNTNsについて検討した。 このアプローチは、低ランク適応とテンソル分解の自然な拡張と見なすことができる: 1つの低ランク行列更新を使う代わりに、ADNTNは、小さなコア、非線形活性化、任意の横混合テンソルの階層を通して大きな重みテンソルを構築する。 本稿では,木テンソルネットワーク(TTN),拡張TTN(aTTN),マルチスケールエンタングルメント・リノベーション・アンサテズ(MERA)の3つのアーキテクチャについて論じる。 この定式化は、非線形アクティベーション、タスク対応の目的、バッチ処理、ハードウェア対応の実行スケジュールをサポートする。 同時に、論文は、縮約プログラムの \emph{differentiating} と縮約を自由にすることを明確に区別している: AD は、大きな中間子のコスト、弱い縮約順序、あるいは一般ループテンソルネットワークの正確な縮約を除去しない。 AlexNetとVGG-16の大規模なシミュレーションでは、約2000ドルから77000ドルまでの層ごとの圧縮比が研究された設定で示され、密度の高いベースラインといくつかのVGG-16の精度が一致し、精度が向上した。 ADNTNはより小さなニューラルネットワークへの有望で数学的に構造化されたハードウェア対応のルートであり、最適化、収縮スケジュール、デプロイメントカーネルが一緒に設計されていることを示唆している。

関連論文リスト

• Renormalization Group Guided Tensor Network Structure Search [58.0378300612202]
  ネットワーク構造探索(TN-SS)は、高次元データ表現における効率的なテンソル分解のための最適なネットワークトポロジとランクロバスト性を自動的に発見することを目的としている。 RGTN(Renormalization Group Guided Network Search)は、TN-SSを変換する物理に着想を得たフレームワークである。
  論文  参考訳（メタデータ） (2025-12-31T06:31:43Z)
• Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
  テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。 1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。 その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
  論文  参考訳（メタデータ） (2025-07-01T18:46:27Z)
• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Compressing Neural Networks Using Tensor Networks with Exponentially Fewer Variational Parameters [4.373746415510521]
  機械学習タスクに挑戦するために設計されたニューラルネットワーク(NN)は、一般的に、大きな変動パラメータを含む非常に非線形なマッピングである。 本稿では, NNの変動パラメータをRautomatically differentiable tensor Network (ADTN) に符号化することにより, NNの変動パラメータを著しく低減する汎用圧縮手法を提案する。 本研究は, NNの変動パラメータを表現するために, 非常に効率的な数学的構造として深部TNが提案され, 一般的に用いられる行列や多方向アレイよりも優れた圧縮性を示す。
  論文  参考訳（メタデータ） (2023-05-10T11:24:27Z)
• Tensor Network States with Low-Rank Tensors [6.385624548310884]
  テンソルネットワークを構成するテンソルに低ランク制約を課すという考え方を導入する。 この修正により、ネットワーク最適化の時間と複雑さを大幅に削減できる。 テンソル階数 $r$ を$m$ の順序で選ぶことは、高い精度の基底状態近似を得るのに十分である。
  論文  参考訳（メタデータ） (2022-05-30T17:58:16Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。