論文の概要: Improving Pre-Trained Weights Through Meta-Heuristics Fine-Tuning
- arxiv url: http://arxiv.org/abs/2212.09447v1
- Date: Mon, 19 Dec 2022 13:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 17:15:28.176262
- Title: Improving Pre-Trained Weights Through Meta-Heuristics Fine-Tuning
- Title（参考訳）: メタヒューリスティックスファインチューニングによる事前トレーニング重量の改善
- Authors: Gustavo H. de Rosa, Mateus Roder, Jo\~ao Paulo Papa and Claudio F. G.
dos Santos
- Abstract要約: 我々は,メタヒューリスティックな手法を用いて,事前訓練した重量を微調整することを提案する。
実験結果から,事前学習した重みの近傍を探索する自然に触発されたアルゴリズムの能力が示された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Machine Learning algorithms have been extensively researched throughout the
last decade, leading to unprecedented advances in a broad range of
applications, such as image classification and reconstruction, object
recognition, and text categorization. Nonetheless, most Machine Learning
algorithms are trained via derivative-based optimizers, such as the Stochastic
Gradient Descent, leading to possible local optimum entrapments and inhibiting
them from achieving proper performances. A bio-inspired alternative to
traditional optimization techniques, denoted as meta-heuristic, has received
significant attention due to its simplicity and ability to avoid local optimums
imprisonment. In this work, we propose to use meta-heuristic techniques to
fine-tune pre-trained weights, exploring additional regions of the search
space, and improving their effectiveness. The experimental evaluation comprises
two classification tasks (image and text) and is assessed under four literature
datasets. Experimental results show nature-inspired algorithms' capacity in
exploring the neighborhood of pre-trained weights, achieving superior results
than their counterpart pre-trained architectures. Additionally, a thorough
analysis of distinct architectures, such as Multi-Layer Perceptron and
Recurrent Neural Networks, attempts to visualize and provide more precise
insights into the most critical weights to be fine-tuned in the learning
process.
- Abstract（参考訳）: 機械学習アルゴリズムは、過去10年間にわたって広範囲に研究され、画像分類や再構成、オブジェクト認識、テキスト分類など、幅広い応用において前例のない進歩をもたらした。
それにもかかわらず、ほとんどの機械学習アルゴリズムは、確率的勾配降下のような微分に基づく最適化によって訓練され、局所的な最適な絡み合いが起こり、適切な性能を達成することを妨げている。
メタヒューリスティック(meta-heuristic)と呼ばれる従来の最適化技術に代わるバイオインスパイアされた代替手段は、その単純さと局所的最適判決を避ける能力によって、大きな注目を集めている。
本研究では,事前学習した重みを微調整し,探索空間の追加領域を探索し,その効果を向上させるためのメタヒューリスティックな手法を提案する。
実験評価は2つの分類タスク(画像とテキスト)で構成され、4つの文献データセットで評価される。
実験結果から,事前学習した重みの近傍を探索する自然に着想を得たアルゴリズムの能力を示す。
さらに、Multi-Layer PerceptronやRecurrent Neural Networksといった異なるアーキテクチャを徹底的に分析することで、学習プロセスにおいて微調整される最も重要な重みに関するより正確な洞察を可視化し提供しようとする。
関連論文リスト
- No Wrong Turns: The Simple Geometry Of Neural Networks Optimization
Paths [12.068608358926317]
1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。
2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。
以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-06-20T22:10:40Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳（メタデータ） (2023-02-01T17:32:16Z) - Deep Learning Training Procedure Augmentations [0.0]
近年のディープラーニングの進歩は、オブジェクト検出、画像分割、感情分析など、さまざまなタスクのパフォーマンスを大幅に改善している。
これは大きな成果をもたらしたが、その多くは現実世界のアプリケーションでは、ディープラーニングの他の関連する側面は無視され、不明である。
優れた性能を発揮できる一方で、収束速度、最適化ランドスケープ、対向ロバスト性に関する興味深い分析結果も提示する。
論文 参考訳（メタデータ） (2022-11-25T22:31:11Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Benchmarking the Accuracy and Robustness of Feedback Alignment
Algorithms [1.2183405753834562]
バックプロパゲーションは、その単純さ、効率性、高収束率のために、ディープニューラルネットワークをトレーニングするためのデフォルトのアルゴリズムである。
近年,より生物学的に妥当な学習法が提案されている。
BioTorchは、生物学的に動機付けられたニューラルネットワークを作成し、トレーニングし、ベンチマークするソフトウェアフレームワークである。
論文 参考訳（メタデータ） (2021-08-30T18:02:55Z) - RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform
Successive Halving [74.61723678821049]
予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。
予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。
その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
論文 参考訳（メタデータ） (2021-08-18T07:45:21Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳（メタデータ） (2021-08-03T19:24:25Z) - How Powerful are Performance Predictors in Neural Architecture Search? [43.86743225322636]
我々は31の手法を解析し,性能予測器の大規模研究を行った。
予測器の特定のファミリーが組み合わさることで、より優れた予測能力が得られることを示す。
論文 参考訳（メタデータ） (2021-04-02T17:57:16Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Uncovering Coresets for Classification With Multi-Objective Evolutionary
Algorithms [0.8057006406834467]
coresetはトレーニングセットのサブセットであり、機械学習アルゴリズムが元のデータ全体にわたってトレーニングされた場合の成果と同じようなパフォーマンスを取得する。
候補コルセットは反復的に最適化され、サンプルの追加と削除が行われる。
多目的進化アルゴリズムは、集合内の点数と分類誤差を同時に最小化するために用いられる。
論文 参考訳（メタデータ） (2020-02-20T09:59:56Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳（メタデータ） (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。