論文の概要: Robust Neural Tucker Factorization with Bias Correction and Adaptive Initialization

• arxiv url: http://arxiv.org/abs/2606.16388v1
• Date: Mon, 15 Jun 2026 08:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.24019
• Title: Robust Neural Tucker Factorization with Bias Correction and Adaptive Initialization
• Title（参考訳）: バイアス補正と適応初期化を併用したロバストニューラルタッカー分解
• Authors: Yuchao Su, Yixin Ran,
• Abstract要約: 高次元不完全テンソル(HDI)は交通や気候の用途で広く用いられているが、スパース観測は正確な完成を困難にしている。 本稿では,HDIテンソル完成のためのカイミング初期化とバイアス補正(KaBiN)を併用した,単純かつ効果的なニューラルタッカー因数分解モデルを提案する。 3つの実世界のHDIテンソルデータセットの実験では、KaBiNは計算オーバーヘッドを最小限に抑えつつ、元のNeuTucFよりも優れたパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 1.104960878651584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-dimensional incomplete (HDI) tensors are widely used in traffic and climate applications, but sparse observations make accurate completion difficult. The intrinsic non-linear dynamics and non-stationary variations across distinct multi-modal fields severely hinder the efficacy of conventional linear reconstruction frameworks. Neural Tucker factorization provides an effective framework for modeling high-order interactions among tensor modes. By parameterizing underlying structural characteristics into continuous latent spaces, neural representations circumvent the rigid low-rank constraints of classical algebra. However, its performance can still be affected by implementation-level choices, especially parameter initialization and the bias configuration of the final output mapping. Suboptimal initializations frequently lead to variance explosion across the cubically expanded interaction spaces, driving the subsequent non-linear activation boundaries into severe gradient saturation zones, while the omission of a dedicated translation parameter forces interaction weights to implicitly absorb global statistical deviations. This paper proposes a simple yet effective neural Tucker factorization model with Kaiming initialization and bias correction (KaBiN) for HDI tensor completion. The proposed model utilizes Kaiming uniform initialization for the embedding and Tucker linear parameters, and adopts a simple bias correction in output mapping. By elegantly decoupling global mean shifts from local structural representations, the framework provides a highly stable and well-conditioned optimization landscape. Experiments on three real-world HDI tensor datasets show that KaBiN achieves better performance than the original NeuTucF, while introducing minimal computational overhead.
• Abstract（参考訳）: 高次元不完全テンソル(HDI)は交通や気候の用途で広く用いられているが、スパース観測は正確な完成を困難にしている。 固有非線形力学と異なる多モード場間の非定常変動は、従来の線形再構成フレームワークの有効性を著しく損なう。 ニューラルタッカー分解はテンソルモード間の高次相互作用をモデル化するための効果的なフレームワークを提供する。 基礎となる構造特性を連続潜在空間にパラメータ化することにより、ニューラル表現は古典代数学の厳密な低ランク制約を回避できる。 しかし、その性能は実装レベルの選択、特にパラメータの初期化と最終的な出力マッピングのバイアス構成の影響を受けます。 準最適初期化は、しばしば3次拡大された相互作用空間の分散爆発を引き起こし、その後の非線形活性化境界を厳しい勾配飽和領域に誘導する一方、専用翻訳パラメータの欠落は、相互作用の重みを暗黙的にグローバルな統計的偏差を吸収させる。 本稿では,HDIテンソル完成のためのカイミング初期化とバイアス補正(KaBiN)を併用した,単純かつ効果的なニューラルタッカー因数分解モデルを提案する。 提案モデルは,埋め込みおよびタッカー線形パラメータに対するカイミング均一初期化を利用して,出力マッピングに単純なバイアス補正を適用する。 局所的な構造表現からグローバル平均シフトをエレガントに分離することにより、このフレームワークは高度に安定し、よく条件付けられた最適化の展望を提供する。 3つの実世界のHDIテンソルデータセットの実験では、KaBiNは計算オーバーヘッドを最小限に抑えつつ、元のNeuTucFよりも優れたパフォーマンスを実現している。

関連論文リスト

• Universal Smoothness via Bernstein Polynomials: A Constructive Approximation Approach for Activation Functions [16.856453018275467]
  ディープニューラルネットワークの有効性は、非線形活性化関数の設計に大きく依存している。 提案手法は厳密な連続微分可能性と1の非拡張リプシッツ定数を保証する。 このアプローチは、標準画像分類ベンチマークにおける最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-04T13:38:16Z)
• Beyond Attention: True Adaptive World Models via Spherical Kernel Operator [0.0]
  標準的な注意を置き換えるフレームワークであるSpherical Kernelを紹介します。 SKOは、エージェントの偏りのある観察周波数から真の環境遷移のダイナミクスを数学的に分離する。 経験的評価により、SKOは自己回帰言語モデリングにおいて、収束を著しく加速し、標準の注意ベースラインを上回ることが確認される。
  論文  参考訳（メタデータ） (2026-02-25T21:51:34Z)
• Score-Based Model for Low-Rank Tensor Recovery [49.158601255093416]
  低ランクテンソル分解(TD)は、マルチウェイデータ解析に有効なフレームワークを提供する。 従来のTD法は、CPやタッカー分解のような事前定義された構造的仮定に依存している。 本稿では,事前定義された構造的仮定や分布的仮定の必要性を排除したスコアベースモデルを提案する。
  論文  参考訳（メタデータ） (2025-06-27T15:05:37Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。