論文の概要: Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks

• arxiv url: http://arxiv.org/abs/2502.06153v1
• Date: Mon, 10 Feb 2025 04:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:28.533434
• Title: Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks
• Title（参考訳）: Kolmogorov-Arnold ネットワークの低テンソル・ランク適応
• Authors: Yihang Gao, Michael K. Ng, Vincent Y. F. Tan,
• Abstract要約: コルモゴロフ-アルノルドネットワーク(KAN)は、様々な領域における多層知覚(MLP)の代替としての可能性を示した。 微調整カンのためのローテンソルランク適応(LoTRA)を開発した。 微調整カンによる様々な偏微分方程式(PDE)を効率的に解くためのLoTRAの適用について検討する。
• 参考スコア（独自算出の注目度）: 70.06682043272377
• License:
• Abstract: Kolmogorov--Arnold networks (KANs) have demonstrated their potential as an alternative to multi-layer perceptions (MLPs) in various domains, especially for science-related tasks. However, transfer learning of KANs remains a relatively unexplored area. In this paper, inspired by Tucker decomposition of tensors and evidence on the low tensor-rank structure in KAN parameter updates, we develop low tensor-rank adaptation (LoTRA) for fine-tuning KANs. We study the expressiveness of LoTRA based on Tucker decomposition approximations. Furthermore, we provide a theoretical analysis to select the learning rates for each LoTRA component to enable efficient training. Our analysis also shows that using identical learning rates across all components leads to inefficient training, highlighting the need for an adaptive learning rate strategy. Beyond theoretical insights, we explore the application of LoTRA for efficiently solving various partial differential equations (PDEs) by fine-tuning KANs. Additionally, we propose Slim KANs that incorporate the inherent low-tensor-rank properties of KAN parameter tensors to reduce model size while maintaining superior performance. Experimental results validate the efficacy of the proposed learning rate selection strategy and demonstrate the effectiveness of LoTRA for transfer learning of KANs in solving PDEs. Further evaluations on Slim KANs for function representation and image classification tasks highlight the expressiveness of LoTRA and the potential for parameter reduction through low tensor-rank decomposition.
• Abstract（参考訳）: Kolmogorov-Arnoldネットワーク(KAN)は、特に科学関連のタスクにおいて、様々な領域における多層認識(MLP)の代替としての可能性を示した。 しかし、漢語の転帰学習はいまだに未発見の分野である。 In this paper, inspired by Tucker decomposition of tensor and evidence on the low tensor-rank structure in Kan parameters updates, we developed low tensor-rank adaptation (LoTRA) for fine-tuning Kans。 タッカー分解近似に基づくLoTRAの表現性について検討する。 さらに,各LoTRAコンポーネントの学習率を選択することによって,効率的な学習を可能にする理論的解析を行う。 分析の結果,すべてのコンポーネントで同一の学習率を使用することで,非効率なトレーニングが実現し,適応的な学習率戦略の必要性が浮き彫りになった。 理論的な知見の他に、微調整カンによる様々な偏微分方程式(PDE)の効率的な解法としてLoTRAの応用について検討する。 また,カンパラメータテンソルの固有低テンソルランク特性を取り入れたスリムカンを提案し,優れた性能を維持しつつモデルサイズを小さくする。 実験により,提案した学習率選択戦略の有効性を検証し,PDEの解法におけるKansの伝達学習におけるLoTRAの有効性を実証した。 関数表現と画像分類タスクのためのスリムカンのさらなる評価は、LoTRAの表現性と低テンソルランク分解によるパラメータ還元の可能性を強調している。

関連論文リスト

• Free-Knots Kolmogorov-Arnold Network: On the Analysis of Spline Knots and Advancing Stability [16.957071012748454]
  Kolmogorov-Arnold Neural Networks (KAN)は、機械学習コミュニティにおいて大きな注目を集めている。 しかしながら、それらの実装はトレーニングの安定性が悪く、重いトレーニング可能なパラメータに悩まされることが多い。 本研究では, スプラインノットのレンズによるカンの挙動を解析し, B-スプライン系カンの結び目数に対する上下境界を導出する。
  論文  参考訳（メタデータ） (2025-01-16T04:12:05Z)
• Tensor-GaLore: Memory-Efficient Training via Gradient Tensor Decomposition [93.98343072306619]
  本研究では,高次テンソル重み付きニューラルネットワークの効率的なトレーニング手法であるNavier-GaLoreを提案する。 様々なPDEタスクの中で、Navier-GaLoreはメモリ節約を実現し、最大75%のメモリ使用量を削減している。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Learnable Activation Functions in Physics-Informed Neural Networks for Solving Partial Differential Equations [0.0]
  物理情報ネットワーク(PINN)における学習可能なアクティベーション関数を用いた部分微分方程式(PDE)の解法について検討する。 従来のMLP(Multilayer Perceptrons)とKAN(Kolmogorov-Arnold Neural Networks)に対する固定および学習可能なアクティベーションの比較を行った。 この発見は、PDEソルバのトレーニング効率、収束速度、テスト精度のバランスをとるニューラルネットワークアーキテクチャの設計に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-22T18:25:13Z)
• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• KAN we improve on HEP classification tasks? Kolmogorov-Arnold Networks applied to an LHC physics example [0.08192907805418582]
  Kolmogorov-Arnold Networks (KAN) は多層パーセプトロンの代替として提案されている。 高エネルギー物理における二項イベント分類の典型的な課題について検討する。 1層カンの学習活性化関数は入力特徴の対数類似度に類似していることが判明した。
  論文  参考訳（メタデータ） (2024-08-05T18:01:07Z)
• Kolmogorov-Smirnov GAN [52.36633001046723]
  我々は、KSGAN(Kolmogorov-Smirnov Generative Adversarial Network)という新しい深層生成モデルを提案する。 既存のアプローチとは異なり、KSGANはKS距離の最小化として学習プロセスを定式化している。
  論文  参考訳（メタデータ） (2024-06-28T14:30:14Z)
• Smooth Kolmogorov Arnold networks enabling structural knowledge representation [0.0]
  Kolmogorov-Arnold Networks (KAN) は、従来のマルチ層パーセプトロン(MLP)アーキテクチャに代わる、効率的かつ解釈可能な代替手段を提供する。 固有の構造的知識を活用することで、カンは訓練に必要なデータを減らすことができ、幻覚的予測を発生させるリスクを軽減することができる。
  論文  参考訳（メタデータ） (2024-05-18T15:27:14Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。