論文の概要: CGLearn: Consistent Gradient-Based Learning for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2411.06040v1
• Date: Sat, 09 Nov 2024 02:36:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:36.897945
• Title: CGLearn: Consistent Gradient-Based Learning for Out-of-Distribution Generalization
• Title（参考訳）: CGLearn: アウト・オブ・ディストリビューションの一般化のための一貫性のあるグラディエント・ベースラーニング
• Authors: Jawad Chowdhury, Gabriel Terejanu,
• Abstract要約: 本研究では,様々な環境における勾配の一致に依存する,単純だが強力なアプローチCGLearnを提案する。 提案手法は, 線形および非線形の条件下での最先端手法と比較して, 優れた性能を示す。 合成データセットと実世界のデータセットの総合的な実験は、様々なシナリオにおけるその有効性を強調している。
• 参考スコア（独自算出の注目度）: 0.7366405857677226
• License:
• Abstract: Improving generalization and achieving highly predictive, robust machine learning models necessitates learning the underlying causal structure of the variables of interest. A prominent and effective method for this is learning invariant predictors across multiple environments. In this work, we introduce a simple yet powerful approach, CGLearn, which relies on the agreement of gradients across various environments. This agreement serves as a powerful indication of reliable features, while disagreement suggests less reliability due to potential differences in underlying causal mechanisms. Our proposed method demonstrates superior performance compared to state-of-the-art methods in both linear and nonlinear settings across various regression and classification tasks. CGLearn shows robust applicability even in the absence of separate environments by exploiting invariance across different subsamples of observational data. Comprehensive experiments on both synthetic and real-world datasets highlight its effectiveness in diverse scenarios. Our findings underscore the importance of leveraging gradient agreement for learning causal invariance, providing a significant step forward in the field of robust machine learning. The source code of the linear and nonlinear implementation of CGLearn is open-source and available at: https://github.com/hasanjawad001/CGLearn.
• Abstract（参考訳）: 一般化を改善し、高い予測、堅牢な機械学習モデルを達成するためには、興味のある変数の根底にある因果構造を学ぶ必要がある。 この方法の顕著かつ効果的な方法は、複数の環境にわたって不変な予測器を学習することである。 本研究では,様々な環境における勾配の一致に依存する,単純だが強力なアプローチCGLearnを提案する。 この合意は信頼性のある特徴を示す強力な指標として機能するが、根底にある因果メカニズムの潜在的な違いにより信頼性の低下を示唆している。 提案手法は, 線形, 非線形設定, 回帰処理, 分類処理の両方において, 最先端の手法と比較して, 優れた性能を示す。 CGLearnは、異なる観測データのサブサンプル間の不変性を利用して、別々の環境がなくても、堅牢な適用性を示す。 合成データセットと実世界のデータセットの総合的な実験は、様々なシナリオにおけるその有効性を強調している。 本研究は、因果不変性学習における勾配合意の活用の重要性を強調し、堅牢な機械学習分野において重要な一歩を踏み出した。 CGLearnの線形および非線形実装のソースコードはオープンソースであり、https://github.com/hasanjawad001/CGLearnで入手できる。

関連論文リスト

• Counterfactual Fairness through Transforming Data Orthogonal to Bias [7.109458605736819]
  我々は新しいデータ前処理アルゴリズムOrthogonal to Bias (OB)を提案する。 OBは、連続的な敏感な変数群の影響を排除し、機械学習アプリケーションにおける反ファクトフェアネスを促進するように設計されている。 OBはモデルに依存しないため、幅広い機械学習モデルやタスクに適用できる。
  論文  参考訳（メタデータ） (2024-03-26T16:40:08Z)
• Variational Self-Supervised Contrastive Learning Using Beta Divergence [0.0]
  本稿では,データノイズに対して頑健な自己教師付き学習手法を提案する。 顔理解領域における多ラベルデータセットを用いた線形評価と微調整シナリオを含む厳密な実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-05T17:21:38Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Mixed Semi-Supervised Generalized-Linear-Regression with applications to Deep-Learning and Interpolators [6.537685198688539]
  本稿では、ラベルのないデータを用いて、半教師付き学習法(SSL)を設計する手法を提案する。 それぞれに$alpha$という混合パラメータが含まれており、ラベルのないデータに与えられる重みを制御する。 我々は,標準教師付きモデルと比較して,大幅な改善を実現するための方法論の有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-19T09:55:18Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Boosting the Generalization Capability in Cross-Domain Few-shot Learning via Noise-enhanced Supervised Autoencoder [23.860842627883187]
  我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。 NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。 また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
  論文  参考訳（メタデータ） (2021-08-11T04:45:56Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。