論文の概要: Understanding the Rank of Tensor Networks via an Intuitive Example-Driven Approach

• arxiv url: http://arxiv.org/abs/2507.10170v1
• Date: Mon, 14 Jul 2025 11:33:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.766838
• Title: Understanding the Rank of Tensor Networks via an Intuitive Example-Driven Approach
• Title（参考訳）: 直観的例駆動アプローチによるテンソルネットワークのランク理解
• Authors: Wuyang Zhou, Giorgos Iacovides, Kriton Konstantinidis, Ilya Kisil, Danilo Mandic,
• Abstract要約: ネットワーク(TN)の分解は、ビッグデータ分析において欠かせないツールとして現れている。 TN位はTN分解の効率と表現性を管理する。 この講義ノートは、実生活の例と直感的な視覚化を通して、TNランクの概念をデミスティフィケートすることを目的としている。
• 参考スコア（独自算出の注目度）: 3.903340895162304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor Network (TN) decompositions have emerged as an indispensable tool in Big Data analytics owing to their ability to provide compact low-rank representations, thus alleviating the ``Curse of Dimensionality'' inherent in handling higher-order data. At the heart of their success lies the concept of TN ranks, which governs the efficiency and expressivity of TN decompositions. However, unlike matrix ranks, TN ranks often lack a universal meaning and an intuitive interpretation, with their properties varying significantly across different TN structures. Consequently, TN ranks are frequently treated as empirically tuned hyperparameters, rather than as key design parameters inferred from domain knowledge. The aim of this Lecture Note is therefore to demystify the foundational yet frequently misunderstood concept of TN ranks through real-life examples and intuitive visualizations. We begin by illustrating how domain knowledge can guide the selection of TN ranks in widely-used models such as the Canonical Polyadic (CP) and Tucker decompositions. For more complex TN structures, we employ a self-explanatory graphical approach that generalizes to tensors of arbitrary order. Such a perspective naturally reveals the relationship between TN ranks and the corresponding ranks of tensor unfoldings (matrices), thereby circumventing cumbersome multi-index tensor algebra while facilitating domain-informed TN design. It is our hope that this Lecture Note will equip readers with a clear and unified understanding of the concept of TN rank, along with the necessary physical insight and intuition to support the selection, explainability, and deployment of tensor methods in both practical applications and educational contexts.
• Abstract（参考訳）: テンソルネットワーク(TN)の分解は、高階データの処理に固有の ‘`Curse of dimensionality'' を緩和する、コンパクトな低ランク表現を提供する能力のため、ビッグデータ分析において欠かせないツールとして登場した。 彼らの成功の中心には、TN分解の効率性と表現性を支配するTNランクの概念がある。 しかし、行列階数とは異なり、TN階数には普遍的な意味や直観的な解釈がなく、その性質は異なるTN構造間で大きく異なる。 したがって、TNランクはドメイン知識から推測される重要な設計パラメータとしてではなく、経験的に調整されたハイパーパラメータとして扱われる。 この講義ノートの目的は、現実の例と直感的な視覚化を通して、基礎的だがしばしば誤解されるTNランクの概念をデミスティフィケートすることである。 まず、Canonical Polyadic (CP) や Tucker 分解のような広く使われているモデルにおいて、ドメイン知識が TN ランクの選択を導く方法を説明する。 より複雑なTN構造に対して、任意の順序のテンソルに一般化する自己探索的グラフィカルアプローチを用いる。 このような視点は、TN位数とテンソル展開(行列)の対応する位数の関係を自然に明らかにし、したがってドメインインフォームドなTN設計を容易にしながら、厄介なマルチインデックステンソル代数を回避している。 本講義ノートは,TNランク概念の明確かつ統一的な理解と,実践的および教育的文脈においてテンソル手法の選択,説明可能性,展開を支援するために必要な身体的洞察と直感を読者に提供することを願っている。

関連論文リスト

• Tensor Convolutional Network for Higher-Order Interaction Prediction in Sparse Tensors [74.31355755781343]
  我々は,トップk相互作用を予測するTF法とシームレスに統合する,正確で互換性のあるテンソル畳み込みネットワークTCNを提案する。 TF法と統合されたTNは,TF法やハイパーエッジ予測法などの競合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-14T18:22:20Z)
• Deep Tree Tensor Networks for Image Recognition [1.8434042562191815]
  本稿では,ittextbfDeep textbfTree textbfTensor textbfNetwork (DTTN) という新しいアーキテクチャを紹介する。 DTTNは、マルチ線形操作を通じて、機能間での2L$の乗法的相互作用をキャプチャする。 理論的には、特定の条件下での量子インスパイアされたTNモデルと相互作用するネットワークの等価性を明らかにする。
  論文  参考訳（メタデータ） (2025-02-14T05:41:33Z)
• Convolutions and More as Einsum: A Tensor Network Perspective with Advances for Second-Order Methods [2.8645507575980074]
  我々はそれらをテンソルネットワーク(TN)として見ることで畳み込みを単純化する TN はダイアグラムを描画し、微分のような関数変換を実行するようにそれらを操作し、それらを固有値で効率的に評価することで、基礎となるテンソル乗法を推論することができる。 我々のTN実装は、標準実装のメモリオーバーヘッドをなくしながら、最大4.5倍のKFAC変異を加速し、近似バックプロパゲーションのための新しいハードウェア効率の良いドロップアウトを可能にする。
  論文  参考訳（メタデータ） (2023-07-05T13:19:41Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Permutation Search of Tensor Network Structures via Local Sampling [27.155329364896144]
  本稿では,TN置換探索 (TN-PS) と呼ばれるTN-SSの実用的変種について考察する。 本稿では,TN-PSの問題を解決するために,実用的なアルゴリズムを提案する。 数値計算により,新しいアルゴリズムは,広範囲なベンチマークにおいて,TNの必要モデルサイズを削減できることが示されている。
  論文  参考訳（メタデータ） (2022-06-14T05:12:49Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Discrete-Valued Neural Communication [85.3675647398994]
  コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。 個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。 我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
  論文  参考訳（メタデータ） (2021-07-06T03:09:25Z)
• Adaptive Learning of Tensor Network Structures [6.407946291544721]
  我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
  論文  参考訳（メタデータ） (2020-08-12T16:41:56Z)
• Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater Relational Expressiveness [3.5408022972081694]
  ランダムに描画された未学習テンソルをトレーニングされたデコーダネットワークを備えたネットワークに組み込むランダム重み付きネットワーク(RWTN)を提案する。 RWTNは、画像解釈(SIITN)のために伝統的に訓練されたLTNのパフォーマンスを満たすか、超えるかを示す。 RWTNは、学習に少ないパラメータを使用しながら、オブジェクト分類においてLTNと同等のパフォーマンスを達成できることを実証する。
  論文  参考訳（メタデータ） (2020-06-01T19:36:29Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。