論文の概要: Transfer learning optimization based on evolutionary selective fine tuning

• arxiv url: http://arxiv.org/abs/2508.15367v1
• Date: Thu, 21 Aug 2025 08:51:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.245899
• Title: Transfer learning optimization based on evolutionary selective fine tuning
• Title（参考訳）: 進化選択的微調整に基づく移動学習の最適化
• Authors: Jacinto Colan, Ana Davila, Yasuhisa Hasegawa,
• Abstract要約: トランスファーラーニングは、トレーニング済みのモデルを新しいタスクに適応するための戦略を提供する。 従来の微調整は、しばしばすべてのモデルパラメータを更新する。 BioTuneは転写学習効率を高めるために選択的に微細構造層である。
• 参考スコア（独自算出の注目度）: 2.271776292902496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has shown substantial progress in image analysis. However, the computational demands of large, fully trained models remain a consideration. Transfer learning offers a strategy for adapting pre-trained models to new tasks. Traditional fine-tuning often involves updating all model parameters, which can potentially lead to overfitting and higher computational costs. This paper introduces BioTune, an evolutionary adaptive fine-tuning technique that selectively fine-tunes layers to enhance transfer learning efficiency. BioTune employs an evolutionary algorithm to identify a focused set of layers for fine-tuning, aiming to optimize model performance on a given target task. Evaluation across nine image classification datasets from various domains indicates that BioTune achieves competitive or improved accuracy and efficiency compared to existing fine-tuning methods such as AutoRGN and LoRA. By concentrating the fine-tuning process on a subset of relevant layers, BioTune reduces the number of trainable parameters, potentially leading to decreased computational cost and facilitating more efficient transfer learning across diverse data characteristics and distributions.
• Abstract（参考訳）: 深層学習は画像解析においてかなりの進歩を見せている。 しかし、大規模で完全に訓練されたモデルの計算要求は依然として考慮されている。 トランスファーラーニングは、トレーニング済みのモデルを新しいタスクに適応するための戦略を提供する。 従来の微調整では、全てのモデルパラメータを更新することが多いため、過度に適合し、計算コストが高くなる可能性がある。 本稿では, 伝達学習効率を向上させるために, 微調整層を選択的に微調整する, 進化的適応微調整技術であるBioTuneを紹介する。 BioTuneは進化的アルゴリズムを用いて、特定のターゲットタスクのモデルパフォーマンスを最適化することを目的として、微調整に焦点を合わせたレイヤセットを特定する。 様々な領域の9つの画像分類データセットから評価すると、AutoRGNやLoRAといった既存の微調整手法と比較して、BioTuneは競争力や精度の向上、効率の向上を実現している。 関連するレイヤのサブセットに微調整処理を集中させることで、BioTuneはトレーニング可能なパラメータの数を削減し、計算コストを削減し、さまざまなデータ特性や分布をまたいだより効率的な転送学習を容易にする可能性がある。

関連論文リスト

• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Surgical Fine-Tuning Improves Adaptation to Distribution Shifts [114.17184775397067]
  分散シフト下での伝達学習の一般的なアプローチは、事前訓練されたモデルの最後の数層を微調整することである。 本稿は, 階層のサブセットを選択的に微調整する手法が, 一般的に用いられている微調整手法と一致し, 性能が良くないことを示す。
  論文  参考訳（メタデータ） (2022-10-20T17:59:15Z)
• Top-Tuning: a study on transfer learning for an efficient alternative to fine tuning for image classification with fast kernel methods [12.325059377851485]
  本稿では,事前学習した畳み込み特徴を高速なカーネル手法の入力として活用する,簡単なトランスファー学習手法を提案する。 トップチューニングアプローチは,1～2桁のトレーニング時間を桁違いに小さくすることで,微調整に対して同等の精度を提供することを示す。
  論文  参考訳（メタデータ） (2022-09-16T13:46:59Z)
• EvoPruneDeepTL: An Evolutionary Pruning Model for Transfer Learning based Deep Neural Networks [15.29595828816055]
  本稿では,トランスファーラーニングに基づくディープニューラルネットワークのための進化的プルーニングモデルを提案する。 EvoPruneDeepTLは、最後の完全に接続されたレイヤを遺伝的アルゴリズムによって最適化されたスパースレイヤで置き換える。 その結果,ネットワーク全体の計算効率に対するEvoPruneDeepTLと特徴選択の寄与が示された。
  論文  参考訳（メタデータ） (2022-02-08T13:07:55Z)
• Zoo-Tuning: Adaptive Transfer from a Zoo of Models [82.9120546160422]
  Zoo-Tuningは、事前訓練されたモデルのパラメータをターゲットタスクに適応的に転送することを学ぶ。 我々は、強化学習、画像分類、顔のランドマーク検出など、様々なタスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-06-29T14:09:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。