論文の概要: Evolutionary Retrofitting

• arxiv url: http://arxiv.org/abs/2410.11330v1
• Date: Tue, 15 Oct 2024 06:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:17.800101
• Title: Evolutionary Retrofitting
• Title（参考訳）: 進化的リトロフィッティング
• Authors: Mathurin Videau, Mariia Zameshina, Alessandro Leite, Laurent Najman, Marc Schoenauer, Olivier Teytaud,
• Abstract要約: AfterLearnERは、完全に訓練された機械学習モデルに進化的手法を含む、微分不可能な最適化を適用することで構成される。 AfterLearnERの効率は、奥行き検知におけるしきい値に基づく基準、音声合成における単語誤り率、3次元生成逆数ネットワーク(GAN)における画像品質といった、識別不能な信号に対処することによって実証される。 AfterLearnERの利点は、その汎用性(グラデーションは必要ない)、人間の評価、限定的なオーバーフィッティング、理論的な研究、そしてその常に振舞いなど、微分不可能なフィードバックを使用することである。
• 参考スコア（独自算出の注目度）: 42.21143557577615
• License:
• Abstract: AfterLearnER (After Learning Evolutionary Retrofitting) consists in applying non-differentiable optimization, including evolutionary methods, to refine fully-trained machine learning models by optimizing a set of carefully chosen parameters or hyperparameters of the model, with respect to some actual, exact, and hence possibly non-differentiable error signal, performed on a subset of the standard validation set. The efficiency of AfterLearnER is demonstrated by tackling non-differentiable signals such as threshold-based criteria in depth sensing, the word error rate in speech re-synthesis, image quality in 3D generative adversarial networks (GANs), image generation via Latent Diffusion Models (LDM), the number of kills per life at Doom, computational accuracy or BLEU in code translation, and human appreciations in image synthesis. In some cases, this retrofitting is performed dynamically at inference time by taking into account user inputs. The advantages of AfterLearnER are its versatility (no gradient is needed), the possibility to use non-differentiable feedback including human evaluations, the limited overfitting, supported by a theoretical study and its anytime behavior. Last but not least, AfterLearnER requires only a minimal amount of feedback, i.e., a few dozens to a few hundreds of scalars, rather than the tens of thousands needed in most related published works. Compared to fine-tuning (typically using the same loss, and gradient-based optimization on a smaller but still big dataset at a fine grain), AfterLearnER uses a minimum amount of data on the real objective function without requiring differentiability.
• Abstract（参考訳）: AfterLearnER(After Learning Evolutionary Retrofitting、After Learning Evolutionary Retrofitting、After Learning Evolution Retrofitting、After Learning Evolution Retrofitting、After Learning Evolution Retrofitting)は、進化的手法を含む非微分可能最適化を適用して、標準検証セットのサブセット上で実行される、いくつかの実際の、正確な、そしておそらくは非微分不可能なエラー信号に対して、慎重に選択されたパラメータやハイパーパラメータのセットを最適化することにより、完全に訓練された機械学習モデルを洗練することである。 AfterLearnERの効率は、奥行き検知におけるしきい値に基づく基準、音声合成における単語エラー率、3次元生成逆数ネットワーク(GAN)における画像品質、潜在拡散モデル(LDM)による画像生成、Doomでの生涯ごとの殺傷数、コード翻訳における計算精度、BLEU、画像合成における人間の評価などの、非微分可能な信号に対処することによって示される。 ユーザ入力を考慮した推論時に動的に行う場合もある。 AfterLearnERの利点は、その汎用性(グラデーションは必要ない)、人間の評価、限定的なオーバーフィッティング、理論的な研究、そしてその常に振舞いなど、微分不可能なフィードバックを使用することである。 最後に重要なことは、AfterLearnERは最小限のフィードバック、すなわち数十から数百のスカラーしか必要としないということだ。 AfterLearnERは、微調整(通常、同じ損失と、小さくても大きなデータセットでの勾配ベースの最適化)と比較して、差別化を必要とせず、実際の目的関数に関する最小限のデータを使用する。

関連論文リスト

• Automatic debiasing of neural networks via moment-constrained learning [0.0]
  偏差推定器の回帰関数をネーティブに学習し,対象関数のサンプル平均値を取得する。 本稿では,自動脱バイアスの欠点に対処する新しいRR学習手法として,モーメント制約学習を提案する。
  論文  参考訳（メタデータ） (2024-09-29T20:56:54Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• More is Better in Modern Machine Learning: when Infinite Overparameterization is Optimal and Overfitting is Obligatory [12.689249854199982]
  RF劣化試験のリスクは特徴数とサンプル数の両方で単調に低下することを示した。 次に、パワーロー固有構造を特徴とするタスクの大規模なクラスにおいて、ほぼゼロに近いトレーニング損失に対するトレーニングが義務付けられていることを示す。
  論文  参考訳（メタデータ） (2023-11-24T18:27:41Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Parallel and Limited Data Voice Conversion Using Stochastic Variational Deep Kernel Learning [2.5782420501870296]
  本稿では,限られたデータを扱う音声変換手法を提案する。 変分深層学習(SVDKL)に基づく。 非滑らかでより複雑な関数を推定することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:32:47Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
  Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。 逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。 本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
  論文  参考訳（メタデータ） (2022-05-24T15:17:52Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。