論文の概要: A KAN-based Non-linear Factorization for Embedding Layer Compression

• arxiv url: http://arxiv.org/abs/2610.29424v1
• Date: Wed, 21 Oct 2026 08:49:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.294251
• Title: A KAN-based Non-linear Factorization for Embedding Layer Compression
• Title（参考訳）: 埋め込み層圧縮のためのkan-based Non-linear Factorization
• Abstract要約: 学習可能な非線形射影を導入することで表現力を高める因子化手法を提案する。 その結果、学習可能な非線形射影による低ランク分解の増大は、線形ボトルネックの制限を効果的に緩和することを示した。
• 参考スコア（独自算出の注目度）: 2.4268214853347754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Among existing embedding compression approaches, low-rank factorization provides a simple and mathematically principled solution by approximating the embedding matrix with a reduced-rank decomposition. However, its practical effectiveness is often limited, as the resulting linear bottleneck constrains representational capacity. To overcome these limitations, we propose an enhanced factorization scheme that increases expressive power by introducing learnable non-linear projections within the compressed embedding layer. Our method is inspired by the Kolmogorov Arnold Networks (KAN) paradigm, which replaces fixed linear transformations with learnable univariate functions. Despite promising results in other domains, applications of KANs in NLP remain scarce and have so far been largely limited to final or task specific layers, rather than core representational components such as embedding layers. We evaluate the proposed approach by integrating the compressed embedding layer into the Skip-gram framework and comparing it against a standard low-rank baseline under matched parameter budgets on the Word Analogy and Semantic Similarity benchmarks. We further introduce an effective initialization strategy from a pre-trained, uncompressed embedding layer. The behavior of the model is analyzed both immediately after initialization and after a brief post-initialization refinement phase, considering training with the standard Skip-gram objective as well as variants augmented with distillation from the original embedding layer. Overall, our results show that augmenting low-rank factorization with learnable non-linear projections effectively mitigates the limitations of linear bottlenecks, yielding more faithful compressed embeddings under fixed dimensionality and suggesting a promising direction for embedding layer compression beyond purely linear methods.
• Abstract（参考訳）: 従来の埋め込み圧縮手法の中で、低ランク分解は、埋め込み行列を低ランク分解で近似することにより、単純で数学的に原理化された解を提供する。 しかし、その実用性はしばしば制限され、結果として線形ボトルネックは表現能力に制約を与える。 これらの制限を克服するために,圧縮埋め込み層内に学習可能な非線形投影を導入することにより,表現力を高める因子化手法を提案する。 我々の手法は、固定線形変換を学習可能な単変数関数に置き換えるコルモゴロフ・アーノルドネットワーク(KAN)パラダイムに着想を得たものである。 他のドメインでの有望な結果にもかかわらず、NLPにおけるkanの応用は依然として不十分であり、埋め込み層のような中核的な表現的コンポーネントよりも、ファイナル層やタスク固有の層に限られている。 提案手法は,圧縮した埋め込み層をSkip-gramフレームワークに統合し,Word Analogy と Semantic similarity ベンチマークのパラメータ予算で標準の低ランクベースラインと比較することによって評価する。 さらに,プレトレーニングされた非圧縮層からの効果的な初期化戦略を導入する。 初期化直後および初期化直後の短期間の改質段階において, 標準のスキップグラム目標によるトレーニングと, 元の埋込み層からの蒸留で強化した変種を考慮し, モデルの挙動を解析した。 全体として,学習可能な非線形射影による低ランク分解の増大は,線形ボトルネックの限界を効果的に軽減し,より忠実な圧縮埋込みを固定次元下で実現し,純粋に線形な方法を超えて層圧縮を埋め込むための有望な方向を示唆した。

関連論文リスト

• Generalization in Nonlinear Least Squares via Learned Feature Geometry [15.966075413898336]
  リッジ規則化非線形最小二乗モデルのオンアレージアルゴリズムによる一般化について検討する。 勾配モデルの幾何学を反映したデータ依存実効次元を用いて局所最小化器の誤差境界を導出する。
  論文  参考訳（メタデータ） (2026-06-07T19:33:36Z)
• Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model [23.79711176655533]
  電力法則として重量が減少する潜在構成特徴の組み合わせで表されるグローバルな高次関数について検討した。 この構造に適応した層ワイドスペクトルアルゴリズムは、浅い非適応的な手法と比較してスケーリングの改善を実現する。 特徴量回復しきい値の鮮明さを証明し、これらの遷移を集約すると、予測誤差の明らかなパワーロッド崩壊が生じることを示す。
  論文  参考訳（メタデータ） (2026-05-14T08:37:28Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• An Accelerated Alternating Partial Bregman Algorithm for ReLU-based Matrix Decomposition [0.0]
  本稿では,非負行列上に補正されたスパース低ランク特性について検討する。 本稿では,クラスタリングと圧縮タスクに有用な構造を取り入れた新しい正規化項を提案する。 我々は、任意の$Lge 1$に対して常に持つ$L$-smoothプロパティを維持しながら、対応する閉形式解を導出する。
  論文  参考訳（メタデータ） (2025-03-04T08:20:34Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。