論文の概要: Mode-Aware Non-Linear Tucker Autoencoder for Tensor-based Unsupervised Learning

• arxiv url: http://arxiv.org/abs/2508.06784v1
• Date: Sat, 09 Aug 2025 02:26:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.546914
• Title: Mode-Aware Non-Linear Tucker Autoencoder for Tensor-based Unsupervised Learning
• Title（参考訳）: テンソル型教師なし学習のためのモード対応非線形タッカーオートエンコーダ
• Authors: Junjing Zheng, Chengliang Song, Weidong Jiang, Xinyu Zhang,
• Abstract要約: 高次元データは、自己教師あり学習において大きな課題となる。 モード対応非線形タッカーオートエンコーダ(MA-NTAE)について紹介する。
• 参考スコア（独自算出の注目度）: 7.6811543224695775
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: High-dimensional data, particularly in the form of high-order tensors, presents a major challenge in self-supervised learning. While MLP-based autoencoders (AE) are commonly employed, their dependence on flattening operations exacerbates the curse of dimensionality, leading to excessively large model sizes, high computational overhead, and challenging optimization for deep structural feature capture. Although existing tensor networks alleviate computational burdens through tensor decomposition techniques, most exhibit limited capability in learning non-linear relationships. To overcome these limitations, we introduce the Mode-Aware Non-linear Tucker Autoencoder (MA-NTAE). MA-NTAE generalized classical Tucker decomposition to a non-linear framework and employs a Pick-and-Unfold strategy, facilitating flexible per-mode encoding of high-order tensors via recursive unfold-encode-fold operations, effectively integrating tensor structural priors. Notably, MA-NTAE exhibits linear growth in computational complexity with tensor order and proportional growth with mode dimensions. Extensive experiments demonstrate MA-NTAE's performance advantages over standard AE and current tensor networks in compression and clustering tasks, which become increasingly pronounced for higher-order, higher-dimensional tensors.
• Abstract（参考訳）: 高次元データ、特に高次テンソルの形では、自己教師あり学習において大きな課題が提示される。 MLPベースのオートエンコーダ(AE)は一般的に使用されるが、平らな操作への依存は次元性の呪いを悪化させ、過大なモデルサイズ、高い計算オーバーヘッド、深い構造的特徴捕獲のための挑戦的な最適化をもたらす。 既存のテンソルネットワークはテンソル分解技術によって計算負担を軽減するが、その多くは非線形関係を学習する際の限られた能力を示している。 これらの制限を克服するために、モード対応非線形タッカーオートエンコーダ(MA-NTAE)を導入する。 MA-NTAEは古典的タッカー分解を非線形フレームワークに一般化し、ピック・アンド・アンフォールド戦略を採用し、再帰的アンフォールド・エンコード・フォールド演算による高階テンソルのフレキシブル・パー・モード符号化を容易にし、テンソル構造上の先行を効果的に統合した。 特に、MA-NTAEはテンソル次数による計算複雑性の線形成長とモード次元による比例成長を示す。 大規模な実験では、MA-NTAEの圧縮およびクラスタリングタスクにおける標準AEおよび現在のテンソルネットワークに対する性能上の優位性が示され、高次高次元テンソルではますます顕著になっている。

関連論文リスト

• Low-Rank Implicit Neural Representation via Schatten-p Quasi-Norm and Jacobian Regularization [49.158601255093416]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。 提案した滑らか度正規化はSVDフリーであり、明示的な連鎖規則の導出を避ける。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Random Matrix Theory for Deep Learning: Beyond Eigenvalues of Linear Models [51.85815025140659]
  現代の機械学習(ML)とディープニューラルネットワーク(DNN)は高次元のデータを扱うことが多い。 特に、データ次元、サンプルサイズ、モデルパラメータの数がすべて大きな比例規則は、新しく、時には直感に反する振る舞いを引き起こす。 本稿では、線形モデルの固有値に基づく解析を超えて従来のランダム行列理論(RMT)を拡張し、非線形MLモデルによる課題に対処する。
  論文  参考訳（メタデータ） (2025-06-16T06:54:08Z)
• TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
  textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。 SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• Quantized Fourier and Polynomial Features for more Expressive Tensor Network Models [9.18287948559108]
  モデル重みを過度にパラメータ化されたテンソルネットワークに制約することで,特徴量に存在するテンソル構造を利用する。 同じ数のモデルパラメータに対して、結果の量子化モデルは、その非量子化モデルとは対照的に、VC次元に高いバウンドを持つことを示す。
  論文  参考訳（メタデータ） (2023-09-11T13:18:19Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion [3.498620439731324]
  テンソル完備化のために,低ランクかつスパースに拡張されたタッカー分解モデルを導入する。 我々のモデルはスパースコアテンソルを促進するためにスパース正規化項を持ち、テンソルデータ圧縮に有用である。 テンソルに出現する潜在的な周期性と固有相関特性を利用するので,本モデルでは様々な種類の実世界のデータセットを扱うことが可能である。
  論文  参考訳（メタデータ） (2020-10-01T12:45:39Z)
• Anomaly Detection with Tensor Networks [2.3895981099137535]
  テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。 画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
  論文  参考訳（メタデータ） (2020-06-03T20:41:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。