論文の概要: Adaptive Class Emergence Training: Enhancing Neural Network Stability and Generalization through Progressive Target Evolution
- arxiv url: http://arxiv.org/abs/2409.02410v1
- Date: Wed, 4 Sep 2024 03:25:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 20:25:21.921685
- Title: Adaptive Class Emergence Training: Enhancing Neural Network Stability and Generalization through Progressive Target Evolution
- Title（参考訳）: Adaptive Class Emergence Training:プログレッシブターゲット進化によるニューラルネットワークの安定性と一般化の促進
- Authors: Jaouad Dabounou,
- Abstract要約: 分類問題におけるニューラルネットワークの新しいトレーニング手法を提案する。
我々は、トレーニングプロセスを通して、ヌルベクトルから1ホットの符号化ベクターへのターゲット出力を進化させる。
この段階的な遷移により、ネットワークは分類タスクの複雑さの増大によりスムーズに適応できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in artificial intelligence, particularly deep neural networks, have pushed the boundaries of what is achievable in complex tasks. Traditional methods for training neural networks in classification problems often rely on static target outputs, such as one-hot encoded vectors, which can lead to unstable optimization and difficulties in handling non-linearities within data. In this paper, we propose a novel training methodology that progressively evolves the target outputs from a null vector to one-hot encoded vectors throughout the training process. This gradual transition allows the network to adapt more smoothly to the increasing complexity of the classification task, maintaining an equilibrium state that reduces the risk of overfitting and enhances generalization. Our approach, inspired by concepts from structural equilibrium in finite element analysis, has been validated through extensive experiments on both synthetic and real-world datasets. The results demonstrate that our method achieves faster convergence, improved accuracy, and better generalization, especially in scenarios with high data complexity and noise. This progressive training framework offers a robust alternative to classical methods, opening new perspectives for more efficient and stable neural network training.
- Abstract（参考訳）: 人工知能、特にディープニューラルネットワークの最近の進歩は、複雑なタスクで達成可能な領域の境界を押し上げている。
分類問題におけるニューラルネットワークのトレーニング方法は、1ホット符号化ベクターのような静的な目標出力に依存することが多く、不安定な最適化とデータ内の非線形性を扱うのが困難になる可能性がある。
本稿では,Nullベクトルから1ホット符号化ベクトルへの目標出力を,学習過程を通じて段階的に進化させる新たなトレーニング手法を提案する。
この段階的な遷移により、ネットワークは分類タスクの複雑さの増大によりスムーズに適応し、過度な適合のリスクを低減し、一般化を促進する平衡状態を維持することができる。
有限要素解析における構造平衡の概念から着想を得た我々のアプローチは、合成と実世界の両方のデータセットに関する広範な実験を通じて検証されてきた。
提案手法は, 高速収束, 精度の向上, 一般化性の向上を実現している。
このプログレッシブトレーニングフレームワークは、従来の方法に代わる堅牢な代替手段を提供し、より効率的で安定したニューラルネットワークトレーニングのための新たな視点を開放する。
関連論文リスト
- Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。
適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
論文 参考訳（メタデータ） (2024-09-25T09:27:17Z) - Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
本稿では,ニューラルネットワークの初期化手法を提案する。
この手法は,Li(2023)が提案する出現対策の概念にインスパイアされ,より高い出現値を達成するために,レイヤワイド・ウェイト・スケーリング・ファクタを調整した。
バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
論文 参考訳（メタデータ） (2024-07-26T18:56:47Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Being Friends Instead of Adversaries: Deep Networks Learn from Data
Simplified by Other Networks [23.886422706697882]
フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。
本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。
本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
論文 参考訳（メタデータ） (2021-12-18T16:59:35Z) - Predictive coding, precision and natural gradients [2.1601966913620325]
学習精度の高い階層型予測符号化ネットワークは,教師あり学習課題や教師なし学習課題を解くことができることを示す。
イメージ入力の教師なし自動符号化に適用すると、決定論的ネットワークは階層的に整理され、非絡み合った埋め込みを生成する。
論文 参考訳（メタデータ） (2021-11-12T21:05:03Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Edge of chaos as a guiding principle for modern neural network training [19.419382003562976]
ニューラルネットワーク学習アルゴリズムにおける様々なハイパーパラメータの役割を秩序-カオス位相図を用いて検討する。
特に、広く採用されているFashion-MNISTデータセットに基づいて、完全に解析的なフィードフォワードニューラルネットワークについて検討する。
論文 参考訳（メタデータ） (2021-07-20T12:17:55Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。