Fugu-MT 論文翻訳(概要): Reimagining Linear Probing: Kolmogorov-Arnold Networks in Transfer Learning

論文の概要: Reimagining Linear Probing: Kolmogorov-Arnold Networks in Transfer Learning

arxiv url: http://arxiv.org/abs/2409.07763v1
Date: Thu, 12 Sep 2024 05:36:40 GMT
ステータス: 処理完了
システム内更新日: 2024-09-13 17:41:46.050724
Title: Reimagining Linear Probing: Kolmogorov-Arnold Networks in Transfer Learning
Title（参考訳）: 線形探索の再考 : Kolmogorov-Arnold Networks in Transfer Learning
Authors: Sheng Shen, Rabih Younes,
Abstract要約: Kolmogorov-Arnold Networks (KAN) は、伝達学習における従来の線形探索手法の拡張である。 Kanは、従来の線形探索よりも一貫して優れており、精度と一般化の大幅な改善を実現している。
参考スコア（独自算出の注目度）: 18.69601183838834
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces Kolmogorov-Arnold Networks (KAN) as an enhancement to the traditional linear probing method in transfer learning. Linear probing, often applied to the final layer of pre-trained models, is limited by its inability to model complex relationships in data. To address this, we propose substituting the linear probing layer with KAN, which leverages spline-based representations to approximate intricate functions. In this study, we integrate KAN with a ResNet-50 model pre-trained on ImageNet and evaluate its performance on the CIFAR-10 dataset. We perform a systematic hyperparameter search, focusing on grid size and spline degree (k), to optimize KAN's flexibility and accuracy. Our results demonstrate that KAN consistently outperforms traditional linear probing, achieving significant improvements in accuracy and generalization across a range of configurations. These findings indicate that KAN offers a more powerful and adaptable alternative to conventional linear probing techniques in transfer learning.
Abstract（参考訳）: 本稿では,移動学習における従来の線形探索手法の強化として,KAN(Kolmogorov-Arnold Networks)を提案する。線形探索は、しばしば事前訓練されたモデルの最終層に適用されるが、データ内の複雑な関係をモデル化できないため制限される。そこで本研究では,スプラインに基づく表現を利用して複雑な関数を近似した線形探索層をkanで置換する手法を提案する。本研究では,ImageNet 上で事前学習した ResNet-50 モデルと Kan を統合し,その性能を CIFAR-10 データセット上で評価する。我々は,グリッドサイズとスプライン度(k)に着目し,Kanの柔軟性と精度を最適化する,系統的なハイパーパラメータ探索を行う。以上の結果から,kanは従来の線形探索よりも一貫して優れており,様々な構成において精度と一般化の大幅な向上が達成されている。これらの結果から,kanは伝達学習における従来の線形探索手法よりも強力で適応可能な代替手段であることがわかった。

関連論文リスト

Graph Neural Networks and Differential Equations: A hybrid approach for data assimilation of fluid flows [0.0]
本研究では,グラフニューラルネットワーク(GNN)とReynolds-Averaged Navier Stokes(RANS)方程式を組み合わせた新しいハイブリッド手法を提案する。その結果, 純粋なデータ駆動モデルと比較して, 再構成平均流の精度は著しく向上した。
論文参考訳（メタデータ） (2024-11-14T14:31:52Z)
Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers [42.69799418639716]
深層学習モデルは、共役勾配 (CG) 法のような線形解法を反復する際の残差を予条件として用いることができる。ニューラルネットワークモデルは、この設定でうまく近似するために、膨大な数のパラメータを必要とする。本研究では,線形代数学から確立したプレコンディショナーを思い出し,GNNの学習の出発点として利用する。
論文参考訳（メタデータ） (2024-05-24T13:44:30Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文参考訳（メタデータ） (2023-12-29T04:15:58Z)
Enhancing training of physics-informed neural networks using domain-decomposition based preconditioning strategies [1.8434042562191815]
広く使用されているL-BFGSに対して,加法的および乗法的プレコンディショニング戦略を導入する。加法プレコンディショナーと乗算プレコンディショナーの両方が標準L-BFGSの収束を著しく改善することを示した。
論文参考訳（メタデータ） (2023-06-30T13:35:09Z)
Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文参考訳（メタデータ） (2023-06-14T11:41:42Z)
Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
論文参考訳（メタデータ） (2022-12-03T07:52:48Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Exploiting Spline Models for the Training of Fully Connected Layers in Neural Network [0.0]
人工ニューラルネットワーク(ANN)の最も基本的なモジュールの1つである完全連結(FC)層は、しばしば訓練が困難で非効率であると考えられている。 fc層を訓練することの難しさを緩和するスプラインベースアプローチを提案する。提案手法は計算コストを低減し,fc層の収束を加速し,モデルの解釈可能性を大幅に向上させる。
論文参考訳（メタデータ） (2021-02-12T14:36:55Z)
LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文参考訳（メタデータ） (2020-12-21T06:40:20Z)
Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。