論文の概要: Leverage Domain-invariant assumption for regularization

• arxiv url: http://arxiv.org/abs/2412.01476v1
• Date: Mon, 02 Dec 2024 13:21:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:28.904267
• Title: Leverage Domain-invariant assumption for regularization
• Title（参考訳）: レバレッジ領域不変な正規化の仮定
• Authors: RuiZhe Jiang, Haotian Lei,
• Abstract要約: オーバーフィッティング(Overfitting)は、ニューラルネットワークがトレーニングセットとテストセットの間に顕著なパフォーマンスのギャップを示すとき、オーバーフィッティング(overfitting)と呼ばれる現象である。 textbfSamelossは、同じトレーニングセットのランダムなサブセットにまたがる特徴差を制約することで、モデルを正規化する適応的手法である。
• 参考スコア（独自算出の注目度）: 0.32885740436059047
• License:
• Abstract: Over-parameterized neural networks often exhibit a notable gap in performance between the training and test sets, a phenomenon known as overfitting. To mitigate this, various regularization techniques have been proposed, each tailored to specific tasks and model architectures. In this paper, we offer a novel perspective on overfitting: models tend to learn different representations from distinct i.i.d. datasets. Building on this insight, we introduce \textbf{Sameloss}, an adaptive method that regularizes models by constraining the feature differences across random subsets of the same training set. Due to its minimal prior assumptions, this approach is broadly applicable across different architectures and tasks. Our experiments demonstrate that \textbf{Sameloss} effectively reduces overfitting with low sensitivity to hyperparameters and minimal computational cost. It exhibits particularly strong memory suppression and fosters normal convergence, even when the model is beginning to overfit. \textbf{Even in the absence of significant overfitting, our method consistently improves accuracy and lowers validation loss.}
• Abstract（参考訳）: 過度にパラメータ化されたニューラルネットワークは、トレーニングセットとテストセットの間の顕著なパフォーマンスギャップを示すことが多い。 これを軽減するために、様々な正規化手法が提案され、それぞれが特定のタスクやモデルアーキテクチャに合わせている。 モデルは異なるデータセットから異なる表現を学習する傾向がある。 この知見に基づいて、同じトレーニングセットのランダムなサブセットにまたがる特徴差を制限してモデルを正規化する適応的手法である「textbf{Sameloss}」を導入する。 最小限の前提のため、このアプローチはさまざまなアーキテクチャやタスクに広く適用できます。 実験により, ハイパーパラメータに対する感度の低下と計算コストの最小化により, オーバーフィッティングを効果的に低減できることを示した。 特に強いメモリ抑制を示し、モデルがオーバーフィットし始めているときでも正常な収束を促進する。 重要なオーバーフィッティングがなければ、我々の方法は常に精度を向上し、バリデーション損失を低減します。 ※

関連論文リスト

• Enhancing Fine-Grained Visual Recognition in the Low-Data Regime Through Feature Magnitude Regularization [23.78498670529746]
  抽出した特徴量の均等分布を保証するために正規化手法を導入する。 その明らかな単純さにもかかわらず、我々の手法は様々な細粒度視覚認識データセットに対して顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2024-09-03T07:32:46Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Analyzing the Performance of Deep Encoder-Decoder Networks as Surrogates for a Diffusion Equation [0.0]
  本研究では,エンコーダ・デコーダ畳み込みニューラルネットワーク(CNN)を定常拡散解法の代用として利用することを検討した。 その結果,トレーニングセットのサイズが大きくなると,性能変動や全体的な誤差の低減に大きく影響することが示唆された。
  論文  参考訳（メタデータ） (2023-02-07T22:53:19Z)
• Neural Architecture for Online Ensemble Continual Learning [6.241435193861262]
  我々は、エンドツーエンドのニューラルネットワークのアンサンブルを効率的に訓練できる、完全に微分可能なアンサンブル法を提案する。 提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2022-11-27T23:17:08Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection [55.888835686183995]
  教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。 提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-01T01:43:04Z)
• Analyzing Overfitting under Class Imbalance in Neural Networks for Image Segmentation [19.259574003403998]
  画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。 本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
  論文  参考訳（メタデータ） (2021-02-20T14:57:58Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。