論文の概要: Lightweight Representation Learning for Low Tucker Rank Tensors

• arxiv url: http://arxiv.org/abs/2611.01168v1
• Date: Sat, 31 Oct 2026 18:09:13 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:22:51.681633
• Title: Lightweight Representation Learning for Low Tucker Rank Tensors
• Title（参考訳）: 低タッカーランクテンソルの軽量表現学習
• Abstract要約: 低タッカーランクテンソルは多次元依存のコンパクトな表現を提供する。 標準的な学習パイプラインは、冗長な中間量からかなりの計算とメモリオーバーヘッドを発生させることができる。 我々は、下層の表現目的やパラメータ化を変更することなく、このオーバーヘッドを減らします。
• 参考スコア（独自算出の注目度）: 1.9336815376402718
• License:
• Abstract: Low Tucker rank tensors provide compact representations of multidimensional dependencies, but standard learning pipelines can incur substantial computational and memory overhead from redundant intermediate quantities. We reduce this overhead without modifying the underlying representation objective or parameterization. Our approach combines three complementary components: (i) sequential extraction of only task-required spectral components, avoiding unnecessary full decompositions; (ii) factor-wise multilinear contractions without materializing large Kronecker operators; and (iii) compact latent-state updates without storing full ambient tensor iterates. These components preserve the algebraic operations and learning trajectories of the original algorithms while reducing their computational and memory footprints. Across five low Tucker rank tensor estimators, our implementations match the original trajectories to numerical precision (relative discrepancies of $10^{-16}$ to $10^{-13}$), while reducing per-iteration runtime by up to $3.12\times$ and resident memory by up to $616\times$ ($99.8\%$) on the main order-3 benchmark at $n=100$, with memory reductions exceeding $900\times$ across the full evaluation suite. These results show that substantial computational redundancy can be eliminated from Tucker representation learning without changing the underlying model or learned representation.
• Abstract（参考訳）: 低タッカーランクテンソルは多次元依存のコンパクトな表現を提供するが、標準的な学習パイプラインは冗長な中間量からかなりの計算とメモリオーバーヘッドを発生させることができる。 我々は、下層の表現目的やパラメータ化を変更することなく、このオーバーヘッドを削減する。 私たちのアプローチは3つの相補的な要素を組み合わせています。 一 不要な完全分解を回避し、必要なスペクトル成分のみを順次抽出すること。 (ii)大きなクロネッカー作用素を具現化しない因子的多線型収縮 (iii) 完全周囲テンソル繰り返しを保存せずにコンパクトな潜在状態更新を行う。 これらのコンポーネントは、計算量とメモリフットプリントを削減しつつ、元のアルゴリズムの代数的操作と学習軌跡を保存する。 5つの低いタッカーランクテンソル推定器で、我々の実装は元のトラジェクトリと数値の精度(相対的な差は10^{-16}$から10^{-13}$)に一致し、また、全評価スイートで900\times$を超えるメインオーダー3ベンチマークで、最大3.12\times$と常駐メモリを最大616\times$(99.8\%$)まで削減します。 これらの結果は、基礎となるモデルや学習された表現を変更することなく、タッカー表現学習からかなりの計算冗長性を排除できることを示している。

関連論文リスト

• Unmerge: Efficient Machine Unlearning via Task Arithmetic [12.213164906982668]
  近似マシンアンラーニングは、完全に再トレーニングすることなく、トレーニングされたモデルから忘れられたセットの影響を取り除くことを目指している。 我々はタスク算術のレンズを通してアンラーニングをリキャストする。 我々は3つの直感的な目標(分割ベクトルを分割し、保持空間へのリークを抑え、補正サイズを限定する)を最適化する。
  論文  参考訳（メタデータ） (2026-09-30T03:41:21Z)
• Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
  テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。 1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。 その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
  論文  参考訳（メタデータ） (2025-07-01T18:46:27Z)
• Compressing 1D Time-Channel Separable Convolutions using Sparse Random Ternary Matrices [65.4388266814055]
  1次元時間チャネル分離可能な畳み込みの1x1-畳み込みを、定数でスパースな乱数三元行列で-1,0,+1$の重みで置き換える。 Google Speech Commands v1のコマンド認識のために、最新の精度を同じネットワークサイズで97.21%$から97.41%$に改善します。 librispeech上での音声認識では、トレーニングすべき重みの数は半分になり、浮動小数点ベースラインの単語誤り率の約1%を犠牲にします。
  論文  参考訳（メタデータ） (2021-03-31T15:09:20Z)
• Compression-aware Continual Learning using Singular Value Decomposition [2.4283778735260686]
  本稿では,ニューラルネットワークを動的に成長させる圧縮型連続タスク学習手法を提案する。 近年のモデル圧縮技術にインスパイアされた我々は、圧縮認識トレーニングを採用し、低ランク重量近似を行う。 本手法は,コストのかかる微調整を必要とせず,最小性能の圧縮表現を実現する。
  論文  参考訳（メタデータ） (2020-09-03T23:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。