論文の概要: Near-Universal Multiplicative Updates for Nonnegative Einsum Factorization
- arxiv url: http://arxiv.org/abs/2602.02759v1
- Date: Mon, 02 Feb 2026 20:09:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.062832
- Title: Near-Universal Multiplicative Updates for Nonnegative Einsum Factorization
- Title(参考訳): 非負のEinsum因子分解のための準普遍的乗法更新
- Authors: John Hood, Aaron Schein,
- Abstract要約: NNEinFactは、テンソルの縮約として表現可能な任意の非負のテンソル因子化に適合するeinsumベースの乗法的更新アルゴリズムである。
損失の最小限に収束し、欠落したデータをサポートし、数億のエントリを数秒でテンソルに適合する。
勾配に基づく手法のテスト損失の半数以下を達成し、最大90倍の速度で収束する。
- 参考スコア(独自算出の注目度): 3.81006880749861
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the ubiquity of multiway data across scientific domains, there are few user-friendly tools that fit tailored nonnegative tensor factorizations. Researchers may use gradient-based automatic differentiation (which often struggles in nonnegative settings), choose between a limited set of methods with mature implementations, or implement their own model from scratch. As an alternative, we introduce NNEinFact, an einsum-based multiplicative update algorithm that fits any nonnegative tensor factorization expressible as a tensor contraction by minimizing one of many user-specified loss functions (including the $(α,β)$-divergence). To use NNEinFact, the researcher simply specifies their model with a string. NNEinFact converges to a local minimum of the loss, supports missing data, and fits to tensors with hundreds of millions of entries in seconds. Empirically, NNEinFact fits custom models which outperform standard ones in heldout prediction tasks on real-world tensor data by over $37\%$ and attains less than half the test loss of gradient-based methods while converging up to 90 times faster.
- Abstract(参考訳): 科学的領域にまたがるマルチウェイデータの多様さにもかかわらず、調整された非負のテンソル因子化に適合するユーザフレンドリーなツールはほとんどない。
研究者たちは、勾配に基づく自動微分(非負の設定でしばしば苦労する)を使用して、成熟した実装を持つメソッドの限られたセットを選択したり、スクラッチから独自のモデルを実装する。
NNEinFactは,多くのユーザ指定損失関数の1つ($(α,β)$-divergenceを含む)を最小化することにより,テンソルの縮約として表現可能な任意の非負のテンソル因子化に適合する,einsumベースの乗法更新アルゴリズムである。
NNEinFactを使用するには、研究者は単に文字列でモデルを指定すればよい。
NNEinFactは、損失の最小限に収束し、欠落したデータをサポートし、秒間に数億のエントリを持つテンソルに適合する。
NNEinFactは、実世界のテンソルデータ上でのホールドアウト予測タスクの標準タスクを37ドル以上上回り、グラデーションベースのメソッドのテスト損失の半分未満に達しながら、最大90倍の速度で収束するカスタムモデルに適合する。
関連論文リスト
- TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。
SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
論文 参考訳(メタデータ) (2025-01-04T20:51:51Z) - Multi-Dictionary Tensor Decomposition [5.733331864416094]
MDTD(Multi-Dictionary Decomposition)のためのフレームワークを提案する。
我々は、完全な入力と入力の両方を欠落した値で処理する、MDTDの一般的な最適化アルゴリズムを導出する。
何十億ものテンソルの欠落した値を、最先端の競合相手よりも正確かつ精巧に説明することができる。
論文 参考訳(メタデータ) (2023-09-18T12:31:56Z) - A Novel Tensor Factorization-Based Method with Robustness to Inaccurate
Rank Estimation [9.058215418134209]
本稿では,2つの低ランク制約を持つテンソルノルムを提案する。
結果のテンソル完成モデルが不正確なランク推定による性能劣化を効果的に回避できることが理論的に証明されている。
これに基づいて、最適化アルゴリズムの各イテレーションの総コストは$mathcalO(n3log n + kn3)$から$mathcalO(n4)$に削減される。
論文 参考訳(メタデータ) (2023-05-19T06:26:18Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳(メタデータ) (2022-05-19T08:37:56Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Augmented Tensor Decomposition with Stochastic Optimization [46.16865811396394]
実世界のテンソルデータは、通常高次で、数百万から数十億のエントリを持つ大きな次元を持つ。
テンソル全体を従来のアルゴリズムで分解するのは高価である。
本稿では、データ拡張を効果的に取り入れて下流の分類を向上する拡張テンソル分解を提案する。
論文 参考訳(メタデータ) (2021-06-15T06:29:05Z) - MTC: Multiresolution Tensor Completion from Partial and Coarse
Observations [49.931849672492305]
既存の完備化の定式化は、主に1つのテンソルからの部分的な観測に依存する。
この問題を解決するために,効率的なマルチレゾリューション・コンプリート・モデル(MTC)を提案する。
論文 参考訳(メタデータ) (2021-06-14T02:20:03Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳(メタデータ) (2020-10-22T00:32:12Z) - Sparse and Low-Rank High-Order Tensor Regression via Parallel Proximal
Method [6.381138694845438]
高次構造を持つ大規模データに対するスパース・ローランク回帰モデルを提案する。
我々のモデルはテンソル係数の空間性と低ランク性を強制する。
我々のモデルの予測は、ビデオデータセットに意味のある解釈を示す。
論文 参考訳(メタデータ) (2019-11-29T06:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。