論文の概要: EVOS: Efficient Implicit Neural Training via EVOlutionary Selector

• arxiv url: http://arxiv.org/abs/2412.10153v1
• Date: Fri, 13 Dec 2024 14:11:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:18.867619
• Title: EVOS: Efficient Implicit Neural Training via EVOlutionary Selector
• Title（参考訳）: EVOS:Evolutionary Selectorによる効率的なインシシティニューラルトレーニング
• Authors: Weixiang Zhang, Shuzhao Xie, Chengwei Ren, Siyi Xie, Chen Tang, Shijia Ge, Mingzi Wang, Zhi Wang,
• Abstract要約: Evolutionary Selector(EVOS)は、インプシットニューラル表現(INR)の高速化のための効率的な訓練パラダイムである 進化過程において、各サンプルを個人として扱い、最も適したサンプルのみが生き残り、トレーニングに有効に含まれる。 本手法は, トレーニング時間を約48%-66%削減し, 追加コストを伴わず, 優れた収束性を確保した。
• 参考スコア（独自算出の注目度）: 10.985825930928463
• License:
• Abstract: We propose EVOlutionary Selector (EVOS), an efficient training paradigm for accelerating Implicit Neural Representation (INR). Unlike conventional INR training that feeds all samples through the neural network in each iteration, our approach restricts training to strategically selected points, reducing computational overhead by eliminating redundant forward passes. Specifically, we treat each sample as an individual in an evolutionary process, where only those fittest ones survive and merit inclusion in training, adaptively evolving with the neural network dynamics. While this is conceptually similar to Evolutionary Algorithms, their distinct objectives (selection for acceleration vs. iterative solution optimization) require a fundamental redefinition of evolutionary mechanisms for our context. In response, we design sparse fitness evaluation, frequency-guided crossover, and augmented unbiased mutation to comprise EVOS. These components respectively guide sample selection with reduced computational cost, enhance performance through frequency-domain balance, and mitigate selection bias from cached evaluation. Extensive experiments demonstrate that our method achieves approximately 48%-66% reduction in training time while ensuring superior convergence without additional cost, establishing state-of-the-art acceleration among recent sampling-based strategies.
• Abstract（参考訳）: Inlicit Neural Representation (INR) を高速化するための効率的なトレーニングパラダイムである EVOlutionary Selector (EVOS) を提案する。 各イテレーションですべてのサンプルをニューラルネットワーク経由で供給する従来のINRトレーニングとは異なり、我々のアプローチは、トレーニングを戦略的に選択されたポイントに制限し、冗長なフォワードパスを排除して計算オーバーヘッドを削減する。 具体的には、各サンプルを進化過程において個人として扱い、最も適したサンプルのみが生き残り、トレーニングに有効であるようにし、ニューラルネットワークのダイナミクスを適応的に進化させます。 これは概念的には進化的アルゴリズムと似ているが、それらの異なる目的(反復解最適化に対する加速度の選択)は、我々の文脈に進化のメカニズムを根本的に再定義する必要がある。 そこで我々は,EVOSを構成するために,スパース適合度評価,周波数誘導クロスオーバー,拡張未バイアス突然変異を設計した。 これらのコンポーネントはそれぞれ、計算コストを削減してサンプル選択をガイドし、周波数領域バランスによる性能を高め、キャッシュ評価から選択バイアスを軽減する。 大規模な実験により,本手法はトレーニング時間の約48%-66%の短縮を実現し,コストを伴わずに優れた収束性を確保し,最近のサンプリングベース戦略の中で最先端の加速を確立できた。

関連論文リスト

• Adaptive Class Emergence Training: Enhancing Neural Network Stability and Generalization through Progressive Target Evolution [0.0]
  分類問題におけるニューラルネットワークの新しいトレーニング手法を提案する。 我々は、トレーニングプロセスを通して、ヌルベクトルから1ホットの符号化ベクターへのターゲット出力を進化させる。 この段階的な遷移により、ネットワークは分類タスクの複雑さの増大によりスムーズに適応できる。
  論文  参考訳（メタデータ） (2024-09-04T03:25:48Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Optimal feature rescaling in machine learning based on neural networks [0.0]
  遺伝的アルゴリズム(GA)により入力特徴の最適再スケーリング(OFR)を行う。 OFRは、トレーニングに使用される勾配ベースのアルゴリズムの条件付けを改善する入力空間を再設定する。 この手法は、実産業プロセスの結果をモデル化したFFNNでテストされている。
  論文  参考訳（メタデータ） (2024-02-13T21:57:31Z)
• Lottery Tickets in Evolutionary Optimization: On Sparse Backpropagation-Free Trainability [0.0]
  我々は勾配降下(GD)に基づくスパーストレーニングと進化戦略(ES)について研究する。 ESは多様で平坦な局所最適条件を探索し、疎度レベルと独立ランをまたいだ線形モード接続を保たないことがわかった。
  論文  参考訳（メタデータ） (2023-05-31T15:58:54Z)
• One Forward is Enough for Neural Network Training via Likelihood Ratio Method [47.013384887197454]
  バックプロパゲーション(BP)は、ニューラルネットワークトレーニングにおける勾配計算の主流のアプローチである。 本手法は,1つの前方伝播による推定のための統一可能性比 (ULR) 法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T19:02:46Z)
• Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution Strategies [50.10277748405355]
  Noise-Reuse Evolution Strategies (NRES) は、非バイアスのオンライン進化戦略の一般的なクラスである。 NRESの結果は既存のAD法やES法よりも早く,様々なアプリケーションにまたがるウォールクロック時間とステップ数で収束することを示す。
  論文  参考訳（メタデータ） (2023-04-21T17:53:05Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
  本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。 画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-15T17:52:48Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。