論文の概要: Invariance Pair-Guided Learning: Enhancing Robustness in Neural Networks

• arxiv url: http://arxiv.org/abs/2502.18975v1
• Date: Wed, 26 Feb 2025 09:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:57:00.515613
• Title: Invariance Pair-Guided Learning: Enhancing Robustness in Neural Networks
• Title（参考訳）: 不変ペアガイド学習:ニューラルネットワークにおけるロバスト性向上
• Authors: Martin Surner, Abdelmajid Khelil, Ludwig Bothmann,
• Abstract要約: トレーニングフェーズを通じてニューラルネットワークを誘導する手法を提案する。 従来の勾配降下法を補完する補正勾配を形成する。 ColoredMNIST、Waterbird-100、CelebANISTデータセットの実験は、我々のアプローチの有効性を実証している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Out-of-distribution generalization of machine learning models remains challenging since the models are inherently bound to the training data distribution. This especially manifests, when the learned models rely on spurious correlations. Most of the existing approaches apply data manipulation, representation learning, or learning strategies to achieve generalizable models. Unfortunately, these approaches usually require multiple training domains, group labels, specialized augmentation, or pre-processing to reach generalizable models. We propose a novel approach that addresses these limitations by providing a technique to guide the neural network through the training phase. We first establish input pairs, representing the spurious attribute and describing the invariance, a characteristic that should not affect the outcome of the model. Based on these pairs, we form a corrective gradient complementing the traditional gradient descent approach. We further make this correction mechanism adaptive based on a predefined invariance condition. Experiments on ColoredMNIST, Waterbird-100, and CelebA datasets demonstrate the effectiveness of our approach and the robustness to group shifts.
• Abstract（参考訳）: 機械学習モデルのアウト・オブ・ディストリビューションの一般化は、トレーニングデータ分布に本質的に束縛されているため、依然として困難である。 これは、学習されたモデルが素早い相関に依存している場合に特に現れます。 既存のアプローチのほとんどは、一般化可能なモデルを達成するためにデータ操作、表現学習、学習戦略を適用している。 残念ながら、これらのアプローチは通常、一般化可能なモデルに到達するために、複数のトレーニングドメイン、グループラベル、特別な拡張、または前処理を必要とする。 トレーニングフェーズを通じてニューラルネットワークをガイドする技術を提供することで,これらの制限に対処する新しいアプローチを提案する。 まず入力ペアを構築し, モデルの結果に影響を与えない特性である不均一性を記述する。 これらのペアに基づいて、従来の勾配降下法を補完する補正勾配を形成する。 さらに、予め定義された不変条件に基づいて、この補正機構を適応させる。 ColoredMNIST、Waterbird-100、CelebAデータセットの実験は、我々のアプローチの有効性とグループシフトに対する堅牢性を示している。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
  拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。 本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。 提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
  論文  参考訳（メタデータ） (2024-09-13T02:23:55Z)
• Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
  フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。 本研究では,分散補正モデル平均化アルゴリズムを提案する。 シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
  論文  参考訳（メタデータ） (2024-04-06T12:49:20Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Merging Models with Fisher-Weighted Averaging [24.698591753644077]
  我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。 提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。 マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-18T17:59:35Z)
• The Gaussian equivalence of generative models for learning with shallow neural networks [30.47878306277163]
  本研究では,事前学習した生成モデルから得られたデータに基づいて学習したニューラルネットワークの性能について検討する。 この等価性を裏付ける厳密で解析的で数値的な証拠を3本提供します。 これらの結果は、現実的なデータを持つ機械学習モデルの理論研究への有効な道を開く。
  論文  参考訳（メタデータ） (2020-06-25T21:20:09Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。