論文の概要: Leverage Domain-invariant assumption for regularization

• arxiv url: http://arxiv.org/abs/2412.01476v1
• Date: Mon, 02 Dec 2024 13:21:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:28.904267
• Title: Leverage Domain-invariant assumption for regularization
• Title（参考訳）: レバレッジ領域不変な正規化の仮定
• Authors: RuiZhe Jiang, Haotian Lei,
• Abstract要約: オーバーフィッティング(Overfitting)は、ニューラルネットワークがトレーニングセットとテストセットの間に顕著なパフォーマンスのギャップを示すとき、オーバーフィッティング(overfitting)と呼ばれる現象である。 textbfSamelossは、同じトレーニングセットのランダムなサブセットにまたがる特徴差を制約することで、モデルを正規化する適応的手法である。
• 参考スコア（独自算出の注目度）: 0.32885740436059047
• License:
• Abstract: Over-parameterized neural networks often exhibit a notable gap in performance between the training and test sets, a phenomenon known as overfitting. To mitigate this, various regularization techniques have been proposed, each tailored to specific tasks and model architectures. In this paper, we offer a novel perspective on overfitting: models tend to learn different representations from distinct i.i.d. datasets. Building on this insight, we introduce \textbf{Sameloss}, an adaptive method that regularizes models by constraining the feature differences across random subsets of the same training set. Due to its minimal prior assumptions, this approach is broadly applicable across different architectures and tasks. Our experiments demonstrate that \textbf{Sameloss} effectively reduces overfitting with low sensitivity to hyperparameters and minimal computational cost. It exhibits particularly strong memory suppression and fosters normal convergence, even when the model is beginning to overfit. \textbf{Even in the absence of significant overfitting, our method consistently improves accuracy and lowers validation loss.}
• Abstract（参考訳）: 過度にパラメータ化されたニューラルネットワークは、トレーニングセットとテストセットの間の顕著なパフォーマンスギャップを示すことが多い。 これを軽減するために、様々な正規化手法が提案され、それぞれが特定のタスクやモデルアーキテクチャに合わせている。 モデルは異なるデータセットから異なる表現を学習する傾向がある。 この知見に基づいて、同じトレーニングセットのランダムなサブセットにまたがる特徴差を制限してモデルを正規化する適応的手法である「textbf{Sameloss}」を導入する。 最小限の前提のため、このアプローチはさまざまなアーキテクチャやタスクに広く適用できます。 実験により, ハイパーパラメータに対する感度の低下と計算コストの最小化により, オーバーフィッティングを効果的に低減できることを示した。 特に強いメモリ抑制を示し、モデルがオーバーフィットし始めているときでも正常な収束を促進する。 重要なオーバーフィッティングがなければ、我々の方法は常に精度を向上し、バリデーション損失を低減します。 ※

関連論文リスト

• Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
  既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。 本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
  論文  参考訳（メタデータ） (2024-11-23T19:10:32Z)
• Improving Equivariant Model Training via Constraint Relaxation [31.507956579770088]
  等価ニューラルネットワークは、基礎となるデータ対称性が知られているタスクでうまく一般化できるため、様々なアプリケーションで広く利用されている。 そこで本研究では,トレーニング中の厳密な均衡制約を緩和することにより,そのようなモデルの最適化を改善する新しい枠組みを提案する。 本研究では,様々な最先端ネットワークアーキテクチャの実験結果を提供し,このトレーニングフレームワークが一般化性能を向上した同変モデルを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-08-23T17:35:08Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• From Bricks to Bridges: Product of Invariances to Enhance Latent Space Communication [19.336940758147442]
  異なるニューラルネットワークによって学習された表現は、モデルが同様の誘導バイアスの下で訓練されたときに構造的類似性を隠蔽することが観察されている。 我々は,不変成分の積空間を潜在表現の上に構築し,その表現に不変量の集合を直接組み込む汎用的手法を導入する。 我々は,ゼロショット縫合設定において,一貫した遅延類似性および下流性能向上を観察し,分類および再構成タスクに対するソリューションの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-02T13:55:38Z)
• Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
  本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。 実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
  論文  参考訳（メタデータ） (2022-06-23T12:06:54Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。