Fugu-MT 論文翻訳(概要): On Training of Kolmogorov-Arnold Networks

論文の概要: On Training of Kolmogorov-Arnold Networks

arxiv url: http://arxiv.org/abs/2411.05296v1
Date: Fri, 08 Nov 2024 02:57:59 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-11 14:55:32.362081
Title: On Training of Kolmogorov-Arnold Networks
Title（参考訳）: Kolmogorov-Arnoldネットワークのトレーニングについて
Authors: Shairoz Sohail,
Abstract要約: カンは高次元データセット上でのパーセプトロンアーキテクチャの効果的な代替品である。カンはパラメータ効率は若干改善されているが、より不安定なトレーニングダイナミクスに悩まされている。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Kolmogorov-Arnold Networks have recently been introduced as a flexible alternative to multi-layer Perceptron architectures. In this paper, we examine the training dynamics of different KAN architectures and compare them with corresponding MLP formulations. We train with a variety of different initialization schemes, optimizers, and learning rates, as well as utilize back propagation free approaches like the HSIC Bottleneck. We find that (when judged by test accuracy) KANs are an effective alternative to MLP architectures on high-dimensional datasets and have somewhat better parameter efficiency, but suffer from more unstable training dynamics. Finally, we provide recommendations for improving training stability of larger KAN models.
Abstract（参考訳）: Kolmogorov-Arnold Networksは、最近、多層パーセプトロンアーキテクチャの柔軟な代替として導入された。本稿では,異なるkanアーキテクチャのトレーニングダイナミクスについて検討し,それに対応するMLPの定式化と比較する。さまざまな初期化スキーム、オプティマイザ、学習率をトレーニングし、HSIC Bottleneckのような伝播自由アプローチを活用する。我々は、(テスト精度で判断された場合)kansは高次元データセット上のMLPアーキテクチャの効果的な代替品であり、パラメータ効率が幾分良いが、より不安定なトレーニングダイナミクスに悩まされていることを発見した。最後に,より大規模なkanモデルのトレーニング安定性を向上させるための推奨事項について述べる。

関連論文リスト

Reimagining Linear Probing: Kolmogorov-Arnold Networks in Transfer Learning [18.69601183838834]
Kolmogorov-Arnold Networks (KAN) は、伝達学習における従来の線形探索手法の拡張である。 Kanは、従来の線形探索よりも一貫して優れており、精度と一般化の大幅な改善を実現している。
論文参考訳（メタデータ） (2024-09-12T05:36:40Z)
Adaptive Training of Grid-Dependent Physics-Informed Kolmogorov-Arnold Networks [4.216184112447278]
物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための堅牢なフレームワークとして登場した。本稿では、PDEを解くために、グリッド依存のKolmogorov-Arnold Networks(PIKAN)の高速なJAXベースの実装を提案する。適応的特徴は解の精度を著しく向上させ,基準解に対するL2誤差を最大43.02%減少させることを示した。
論文参考訳（メタデータ） (2024-07-24T19:55:08Z)
Edge-Efficient Deep Learning Models for Automatic Modulation Classification: A Performance Analysis [0.7428236410246183]
無線信号の自動変調分類(AMC)のための最適化畳み込みニューラルネットワーク(CNN)について検討した。本稿では,これらの手法を組み合わせて最適化モデルを提案する。実験結果から,提案手法と組み合わせ最適化手法は,複雑度が著しく低いモデルの開発に極めて有効であることが示唆された。
論文参考訳（メタデータ） (2024-04-11T06:08:23Z)
Approximate and Weighted Data Reconstruction Attack in Federated Learning [1.802525429431034]
分散学習(FL)は、クライアントがプライベートデータを共有せずに、機械学習モデルを構築するためのコラボレーションを可能にする。最近のデータ再構成攻撃は、攻撃者がFLで共有されたパラメータに基づいてクライアントのトレーニングデータを復元できることを実証している。本稿では、クライアントのローカルトレーニングプロセスの中間モデル更新を生成することにより、FedAvgシナリオの攻撃を可能にする近似手法を提案する。
論文参考訳（メタデータ） (2023-08-13T17:40:56Z)
Reinforcement Learning for Topic Models [3.42658286826597]
本稿では,ProdLDAにおける変分オートエンコーダを連続行動空間強化学習ポリシーに置き換えることにより,トピックモデリングに強化学習手法を適用した。ニューラルネットワークアーキテクチャの近代化、ELBO損失の重み付け、コンテキスト埋め込みの使用、トピックの多様性と一貫性の計算による学習プロセスの監視など、いくつかの変更を導入している。
論文参考訳（メタデータ） (2023-05-08T16:41:08Z)
Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文参考訳（メタデータ） (2023-03-27T02:34:09Z)
Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文参考訳（メタデータ） (2022-11-18T02:00:17Z)
Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
単一チャネルソース分離(SCSS)の問題点について検討する。我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
論文参考訳（メタデータ） (2022-08-22T14:04:56Z)
Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。コア最適化問題の実用的なパラメトリゼーションを提供する。
論文参考訳（メタデータ） (2021-07-08T18:01:02Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Improved Adversarial Training via Learned Optimizer [101.38877975769198]
対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
論文参考訳（メタデータ） (2020-04-25T20:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。