論文の概要: The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing

• arxiv url: http://arxiv.org/abs/2403.01420v2
• Date: Sat, 16 Nov 2024 04:49:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:26:46.489182
• Title: The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing
• Title（参考訳）: 不均一性に対する不均一性の因果的バイアス:マルチ環境マトリックスセンシングに関する研究
• Authors: Yang Xu, Yihong Gu, Cong Fang,
• Abstract要約: 不均一なデータに対するグラディエント・Descent (SGD) の暗黙バイアスについて検討した。 暗黙のバイアスがモデル学習を不変解へと導くことを示す。
• 参考スコア（独自算出の注目度）: 9.551225697705199
• License:
• Abstract: Models are expected to engage in invariance learning, which involves distinguishing the core relations that remain consistent across varying environments to ensure the predictions are safe, robust and fair. {While existing works consider specific algorithms to realize invariance learning, we show that model has the potential to learn invariance through standard training procedures. In other words, this paper studies the implicit bias of Stochastic Gradient Descent (SGD) over heterogeneous data and shows that the implicit bias drives the model learning towards an invariant solution. We call the phenomenon the \emph{{implicit invariance learning}}}. Specifically, we theoretically investigate the multi-environment low-rank matrix sensing problem where in each environment, the signal comprises (i) a lower-rank invariant part shared across all environments; and (ii) a significantly varying environment-dependent spurious component. The key insight is, through simply employing the large step size large-batch SGD sequentially in each environment without any explicit regularization, the oscillation caused by heterogeneity can provably prevent model learning spurious signals. The model reaches the invariant solution after certain iterations. In contrast, model learned using pooled SGD over all data would simultaneously learn both the invariant and spurious signals. Overall, we unveil another implicit bias that is a result of the symbiosis between the heterogeneity of data and modern algorithms, which is, to the best of our knowledge, first in the literature.thms, which is, to the best of our knowledge, first in the literature.
• Abstract（参考訳）: モデルは、予測が安全で堅牢で公平であることを保証するために、様々な環境において一貫性のあるコア関係を区別することを含む、不変学習に関与することが期待されている。 既存の研究では、不変学習を実現するための特定のアルゴリズムが検討されているが、モデルが標準学習手順を通じて不変学習の可能性を示唆している。 言い換えれば、不均一なデータに対する確率勾配 Descent (SGD) の暗黙バイアスについて検討し、その暗黙バイアスがモデル学習を不変解へと導くことを示す。 この現象を \emph{{implicit invariance learning}}} と呼ぶ。 具体的には、各環境において信号が構成されるマルチ環境低ランク行列センシング問題について理論的に検討する。 (i)すべての環境に共通する低階不変部分 (ii) 環境依存的な刺激成分の顕著な変化。 鍵となる洞察は、明示的な正規化なしに、各環境で大きなステップサイズの大バッチSGDを逐次使用するだけで、不均一性に起因する発振は、モデル学習の急激なシグナルを確実に阻止することができることである。 モデルは、ある反復の後に不変解に達する。 対照的に、全てのデータに対してプールされたSGDを用いて学習したモデルは、不変信号と刺激信号の両方を同時に学習する。 全体として、私たちは、データの不均一性と現代のアルゴリズムの共生の結果である別の暗黙のバイアスを明らかにします。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Counterfactual Fairness through Transforming Data Orthogonal to Bias [7.109458605736819]
  我々は新しいデータ前処理アルゴリズムOrthogonal to Bias (OB)を提案する。 OBは、連続的な敏感な変数群の影響を排除し、機械学習アプリケーションにおける反ファクトフェアネスを促進するように設計されている。 OBはモデルに依存しないため、幅広い機械学習モデルやタスクに適用できる。
  論文  参考訳（メタデータ） (2024-03-26T16:40:08Z)
• Effective Causal Discovery under Identifiable Heteroscedastic Noise Model [45.98718860540588]
  因果DAG学習は、最近精度と効率の両面で有望な性能を達成した。 本稿では,変数間のノイズ分散の変動を考慮したDAG学習のための新しい定式化を提案する。 次に、最適化の難しさに対処する効果的な2相反復DAG学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:51:58Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Equivariance and Invariance Inductive Bias for Learning from Insufficient Data [65.42329520528223]
  不十分なデータがモデルを、通常テストとは異なる限られたトレーニング環境にバイアスしやすくする理由が示されています。 従来のIRMにおける環境アノテーションの欠如を効果的に解決するクラスワイド不変リスク最小化(IRM)を提案する。
  論文  参考訳（メタデータ） (2022-07-25T15:26:19Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Differentiable Invariant Causal Discovery [106.87950048845308]
  観測データから因果構造を学ぶことは、機械学習の基本的な課題である。 本稿では,不特定変分因果解法(DICD)を提案する。 合成および実世界のデータセットに関する大規模な実験は、DICDがSHDの36%まで最先端の因果発見手法より優れていることを検証している。
  論文  参考訳（メタデータ） (2022-05-31T09:29:07Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Kernelized Heterogeneous Risk Minimization [25.5458915855661]
  我々はカーネル空間における潜伏探索と不変学習の両方を実現するカーネル化不均一リスク最小化(KerHRM)アルゴリズムを提案する。 理論的にアルゴリズムを正当化し、広範囲な実験でアルゴリズムの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2021-10-24T12:26:50Z)
• Heterogeneous Risk Minimization [25.5458915855661]
  分散一般化のための不変学習法は、複数の学習環境を利用して不変関係を見つけることによって提案されている。 現代のデータセットは、明示的なソースラベルなしで複数のソースからのデータをマージすることで組み立てられる。 不均一リスク最小化(HRM: Heterogeneous Risk Minimization)フレームワークを提案し、データと不変関係間の潜在不均質性の共同学習を実現する。
  論文  参考訳（メタデータ） (2021-05-09T02:51:36Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。