論文の概要: ConsistentFeature: A Plug-and-Play Component for Neural Network Regularization
- arxiv url: http://arxiv.org/abs/2412.01476v2
- Date: Fri, 24 Jan 2025 14:16:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-27 14:54:32.231119
- Title: ConsistentFeature: A Plug-and-Play Component for Neural Network Regularization
- Title（参考訳）: ConsistentFeature: ニューラルネットワークの正規化のためのプラグイン・アンド・プレイコンポーネント
- Authors: RuiZhe Jiang, Haotian Lei,
- Abstract要約: 過パラメータ化されたニューラルネットワークモデルは、トレーニングとテストセットの間に大きなパフォーマンスの相違をもたらすことが多い。
モデルは異なるデータセットで異なる表現を学習する。
適応的手法であるConsistentFeatureを提案し、同じトレーニングセットのランダムなサブセット間で特徴差を制約することでモデルを正規化する。
- 参考スコア（独自算出の注目度）: 0.32885740436059047
- License:
- Abstract: Over-parameterized neural network models often lead to significant performance discrepancies between training and test sets, a phenomenon known as overfitting. To address this, researchers have proposed numerous regularization techniques tailored to various tasks and model architectures. In this paper, we introduce a simple perspective on overfitting: models learn different representations in different i.i.d. datasets. Based on this viewpoint, we propose an adaptive method, ConsistentFeature, that regularizes the model by constraining feature differences across random subsets of the same training set. Due to minimal prior assumptions, this approach is applicable to almost any architecture and task. Our experiments show that it effectively reduces overfitting, with low sensitivity to hyperparameters and minimal computational cost. It demonstrates particularly strong memory suppression and promotes normal convergence, even when the model has already started to overfit. Even in the absence of significant overfitting, our method consistently improves accuracy and reduces validation loss.
- Abstract（参考訳）: 過度にパラメータ化されたニューラルネットワークモデルは、オーバーフィッティング(overfitting)として知られる、トレーニングセットとテストセットの間に大きなパフォーマンスの相違をもたらすことが多い。
これを解決するために、研究者は様々なタスクやモデルアーキテクチャに適した多数の正規化手法を提案してきた。
本稿では、モデルが異なるデータセットで異なる表現を学習する、オーバーフィッティングに関する単純な視点を紹介する。
この観点から,同じトレーニングセットのランダムな部分集合間の特徴差を制約してモデルを正規化する適応的手法であるConsistentFeatureを提案する。
最小限の前提のため、このアプローチはほとんどどんなアーキテクチャやタスクにも適用できます。
実験の結果,ハイパーパラメータに対する感度が低く,計算コストも最小限に抑えられることがわかった。
これは特に強いメモリ抑制を示し、モデルがすでにオーバーフィットし始めている場合でも、正常な収束を促進する。
過度なオーバーフィッティングがなくても,本手法は精度を向上し,検証損失を低減する。
関連論文リスト
- Enhancing Fine-Grained Visual Recognition in the Low-Data Regime Through Feature Magnitude Regularization [23.78498670529746]
抽出した特徴量の均等分布を保証するために正規化手法を導入する。
その明らかな単純さにもかかわらず、我々の手法は様々な細粒度視覚認識データセットに対して顕著な性能向上を示した。
論文 参考訳（メタデータ） (2024-09-03T07:32:46Z) - Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。
この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
論文 参考訳（メタデータ） (2024-05-29T15:44:51Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Analyzing the Performance of Deep Encoder-Decoder Networks as Surrogates
for a Diffusion Equation [0.0]
本研究では,エンコーダ・デコーダ畳み込みニューラルネットワーク(CNN)を定常拡散解法の代用として利用することを検討した。
その結果,トレーニングセットのサイズが大きくなると,性能変動や全体的な誤差の低減に大きく影響することが示唆された。
論文 参考訳（メタデータ） (2023-02-07T22:53:19Z) - Neural Architecture for Online Ensemble Continual Learning [6.241435193861262]
我々は、エンドツーエンドのニューラルネットワークのアンサンブルを効率的に訓練できる、完全に微分可能なアンサンブル法を提案する。
提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。
論文 参考訳（メタデータ） (2022-11-27T23:17:08Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳（メタデータ） (2021-12-10T20:46:13Z) - Meta-learning One-class Classifiers with Eigenvalue Solvers for
Supervised Anomaly Detection [55.888835686183995]
教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。
提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
論文 参考訳（メタデータ） (2021-03-01T01:43:04Z) - Analyzing Overfitting under Class Imbalance in Neural Networks for Image
Segmentation [19.259574003403998]
画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。
本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
論文 参考訳（メタデータ） (2021-02-20T14:57:58Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。