論文の概要: Approximation and learning with compositional tensor trains

• arxiv url: http://arxiv.org/abs/2512.18059v1
• Date: Fri, 19 Dec 2025 20:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.170525
• Title: Approximation and learning with compositional tensor trains
• Title（参考訳）: 合成テンソルトレインによる近似と学習
• Authors: Martin Eigel, Charles Miranda, Anthony Nouy, David Sommer,
• Abstract要約: 多変量関数の近似のための合成テンソルトレイン(CTT)を導入する。 CTTは合成モデルの表現率とテンソル代数のアルゴリズム的効率を結合する。
• 参考スコア（独自算出の注目度）: 0.6089496237595778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce compositional tensor trains (CTTs) for the approximation of multivariate functions, a class of models obtained by composing low-rank functions in the tensor-train format. This format can encode standard approximation tools, such as (sparse) polynomials, deep neural networks (DNNs) with fixed width, or tensor networks with arbitrary permutation of the inputs, or more general affine coordinate transformations, with similar complexities. This format can be viewed as a DNN with width exponential in the input dimension and structured weights matrices. Compared to DNNs, this format enables controlled compression at the layer level using efficient tensor algebra. On the optimization side, we derive a layerwise algorithm inspired by natural gradient descent, allowing to exploit efficient low-rank tensor algebra. This relies on low-rank estimations of Gram matrices, and tensor structured random sketching. Viewing the format as a discrete dynamical system, we also derive an optimization algorithm inspired by numerical methods in optimal control. Numerical experiments on regression tasks demonstrate the expressivity of the new format and the relevance of the proposed optimization algorithms. Overall, CTTs combine the expressivity of compositional models with the algorithmic efficiency of tensor algebra, offering a scalable alternative to standard deep neural networks.
• Abstract（参考訳）: テンソル-トレイン形式で低ランク関数を構成するモデルである多変量関数の近似のための合成テンソルトレイン(CTT)を導入する。 このフォーマットは、(スパース)多項式、固定幅のディープニューラルネットワーク(DNN)、入力を任意に置換したテンソルネットワーク、またはより一般的なアフィン座標変換などの標準的な近似ツールを符号化することができる。 この形式は入力次元と構造的重み行列で指数関数的な幅を持つDNNと見なすことができる。 DNNと比較して、このフォーマットは効率的なテンソル代数を用いて層レベルでの制御圧縮を可能にする。 最適化側では、自然な勾配降下にインスパイアされた階層的アルゴリズムを導出し、効率的な低ランクテンソル代数を活用できる。 これはグラム行列の低ランク推定とテンソル構造ランダムスケッチに依存する。 また、この形式を離散力学系として見ることにより、最適制御における数値法にインスパイアされた最適化アルゴリズムを導出する。 回帰タスクに関する数値実験は、新しいフォーマットの表現性と、提案した最適化アルゴリズムの妥当性を示す。 全体として、CTTは合成モデルの表現率とテンソル代数のアルゴリズム効率を組み合わせ、標準的なディープニューラルネットワークに代わるスケーラブルな代替手段を提供する。

関連論文リスト

• Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration [67.12978375116599]
  勾配降下(GD)のステップが一般化されたパーセプトロンアルゴリズムのステップに還元されることを示す。 これは、ニューラルネットワークで観測される最適化力学と暗黙の加速現象を説明するのに役立つ。
  論文  参考訳（メタデータ） (2025-12-12T14:16:35Z)
• Efficient Tensor Completion Algorithms for Highly Oscillatory Operators [7.563400478703737]
  本稿では,低複雑性テンソル補完アルゴリズムとその効率的な実装について述べる。 基礎となるテンソル分解は、入力行列とその蝶分解を位数$O(log n)$tensorに置き換えることに基づいている。
  論文  参考訳（メタデータ） (2025-10-20T16:45:59Z)
• Prime Factorization Equation from a Tensor Network Perspective [37.037023521034925]
  本稿では,素因数分解のための厳密で明示的な方程式と,その計算アルゴリズムを提案する。 提案手法は,従来のテンソルネットワークによる最適化問題に対処するMeLoCoToNアプローチに基づいている。
  論文  参考訳（メタデータ） (2025-07-29T10:38:51Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Variational Tensor Neural Networks for Deep Learning [0.0]
  深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。 これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。 我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
  論文  参考訳（メタデータ） (2022-11-26T20:24:36Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Alternating minimization algorithms for graph regularized tensor completion [8.26185178671935]
  我々は、低ランクテンソル完備化(LRTC)に対するカノニカルポリアディック(CP)分解法を考える。 グラフ正規化の使用にはLRTCの学習精度のメリットが伴うが、同時に結合グラフラプラシア語を誘導する。 基礎となるCP分解モデルにおけるブロック構造を利用して, 効率の良い同期最小化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-28T23:20:49Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。