論文の概要: Tensorization is a powerful but underexplored tool for compression and interpretability of neural networks

• arxiv url: http://arxiv.org/abs/2505.20132v1
• Date: Mon, 26 May 2025 15:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.572904
• Title: Tensorization is a powerful but underexplored tool for compression and interpretability of neural networks
• Title（参考訳）: テンソル化は、ニューラルネットワークの圧縮と解釈可能性のための強力だが未探索のツールである
• Authors: Safa Hamreras, Sukhbinder Singh, Román Orús,
• Abstract要約: テンソル化ニューラルネットワーク(TNN)は、ディープラーニングのための強力だが未探索のフレームワークである、と我々は主張する。 TNNの中心的な特徴は、従来のネットワークでは見つからない新しい潜伏空間を導入する結合指標の存在である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensorizing a neural network involves reshaping some or all of its dense weight matrices into higher-order tensors and approximating them using low-rank tensor network decompositions. This technique has shown promise as a model compression strategy for large-scale neural networks. However, despite encouraging empirical results, tensorized neural networks (TNNs) remain underutilized in mainstream deep learning. In this position paper, we offer a perspective on both the potential and current limitations of TNNs. We argue that TNNs represent a powerful yet underexplored framework for deep learning--one that deserves greater attention from both engineering and theoretical communities. Beyond compression, we highlight the value of TNNs as a flexible class of architectures with distinctive scaling properties and increased interpretability. A central feature of TNNs is the presence of bond indices, which introduce new latent spaces not found in conventional networks. These internal representations may provide deeper insight into the evolution of features across layers, potentially advancing the goals of mechanistic interpretability. We conclude by outlining several key research directions aimed at overcoming the practical barriers to scaling and adopting TNNs in modern deep learning workflows.
• Abstract（参考訳）: ニューラルネットワークのテンソル化には、高次のテンソルに高密度の重み行列の一部または全部を変換し、低ランクテンソルネットワーク分解を用いてそれらを近似する。 この手法は、大規模ニューラルネットワークのモデル圧縮戦略として有望であることが示されている。 しかし、経験的結果を奨励しているにもかかわらず、テンソル化ニューラルネットワーク(TNN)は主流のディープラーニングでは使われていない。 本稿では,TNNの潜在的な限界と現在の限界について考察する。 TNNは、エンジニアリングと理論の両方のコミュニティから注目に値する、深層学習のための強力だが未調査のフレームワークである、と私たちは主張する。 圧縮以外にも,拡張性や解釈可能性の向上を図った,柔軟なアーキテクチャのクラスとして,TNNの価値を強調している。 TNNの中心的な特徴は、従来のネットワークでは見つからない新しい潜伏空間を導入する結合指標の存在である。 これらの内部表現は、層を横断した機能の進化について深い洞察を与え、機械的解釈可能性の目標を推し進める可能性がある。 我々は、現代のディープラーニングワークフローにおけるTNNのスケーリングと導入に対する現実的な障壁を克服することを目的とした、いくつかの重要な研究の方向性を概説する。

関連論文リスト

• Flexible and Scalable Deep Dendritic Spiking Neural Networks with Multiple Nonlinear Branching [39.664692909673086]
  本稿では,複数の樹状突起枝に非線形力学を組み込んだ樹状突起スパイクニューロン(DendSN)を提案する。 点スパイクニューロンと比較すると、デンドSNははるかに高い発現を示す。 本研究は,従来のSNNに匹敵する深度とスケールで,生物解析可能な樹状SNNを訓練する可能性を実証するものである。
  論文  参考訳（メタデータ） (2024-12-09T10:15:46Z)
• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Deep Neural Networks as Complex Networks [1.704936863091649]
  我々は、重み付きグラフとしてディープニューラルネットワーク(DNN)を表現するために複雑ネットワーク理論を用いる。 我々は、DNNを動的システムとして研究するためのメトリクスを導入し、その粒度は、重みから神経細胞を含む層まで様々である。 我々の測定値が低性能ネットワークと高パフォーマンスネットワークを区別していることが示される。
  論文  参考訳（メタデータ） (2022-09-12T16:26:04Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks [1.0869257688521987]
  複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。 ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。 本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
  論文  参考訳（メタデータ） (2021-10-06T10:03:32Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。