Fugu-MT 論文翻訳(概要): Learning Robust Models Using The Principle of Independent Causal Mechanisms

論文の概要: Learning Robust Models Using The Principle of Independent Causal Mechanisms

arxiv url: http://arxiv.org/abs/2010.07167v2
Date: Mon, 8 Feb 2021 15:39:13 GMT
ステータス: 処理完了
システム内更新日: 2022-10-07 12:16:34.673267
Title: Learning Robust Models Using The Principle of Independent Causal Mechanisms
Title（参考訳）: 独立因果メカニズムの原理を用いたロバストモデル学習
Authors: Jens M\"uller, Robert Schmier, Lynton Ardizzone, Carsten Rother and Ullrich K\"othe
Abstract要約: ICMの原理から目的関数を導出する勾配学習フレームワークを提案する。理論的、実験的に、このフレームワークで訓練されたニューラルネットワークは、環境間で不変な関係に重点を置いていることを示す。
参考スコア（独自算出の注目度）: 26.79262903241044
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Standard supervised learning breaks down under data distribution shift. However, the principle of independent causal mechanisms (ICM, Peters et al. (2017)) can turn this weakness into an opportunity: one can take advantage of distribution shift between different environments during training in order to obtain more robust models. We propose a new gradient-based learning framework whose objective function is derived from the ICM principle. We show theoretically and experimentally that neural networks trained in this framework focus on relations remaining invariant across environments and ignore unstable ones. Moreover, we prove that the recovered stable relations correspond to the true causal mechanisms under certain conditions. In both regression and classification, the resulting models generalize well to unseen scenarios where traditionally trained models fail.
Abstract（参考訳）: 標準教師付き学習は、データ分散シフト下で崩壊する。しかしながら、独立因果メカニズム(icm, peters et al. (2017))の原則は、この弱点を機会に変えることができる。本稿では,目的関数をicm原理から導出する新しい勾配型学習フレームワークを提案する。このフレームワークでトレーニングされたニューラルネットワークは、環境にまたがる不変な関係に注目し、不安定な関係を無視する。さらに, 回復した安定関係は, ある条件下での真の因果関係と一致することを示す。回帰と分類の両方において、結果として得られるモデルは、伝統的に訓練されたモデルが失敗する未発見のシナリオにうまく一般化する。

関連論文リスト

SAMBO-RL: Shifts-aware Model-based Offline Reinforcement Learning [9.88109749688605]
モデルベースのオフライン強化学習は、オフラインデータセットとモデルダイナミクスに基づいたポリシーを訓練する。本稿では,その問題をモデルバイアスとポリシーシフトという2つの重要な要素に分解する。シフト対応モデルに基づくオフライン強化学習(SAMBO-RL)を紹介する。
論文参考訳（メタデータ） (2024-08-23T04:25:09Z)
Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
論文参考訳（メタデータ） (2024-08-10T17:04:39Z)
Distribution Learning and Its Application in Deep Learning [5.281849820329249]
本稿では,確率分布学習(PD Learning)と呼ばれる理論学習フレームワークを紹介する。 PD学習は確率分布の学習に重点を置いており、確率の単純さの中で確率変数としてモデル化される。
論文参考訳（メタデータ） (2024-06-09T06:49:22Z)
Compete and Compose: Learning Independent Mechanisms for Modular World Models [57.94106862271727]
異なる環境における再利用可能な独立したメカニズムを活用するモジュール型世界モデルであるCOMETを提案する。 COMETは、コンペティションとコンポジションという2段階のプロセスを通じて、動的に変化する複数の環境でトレーニングされている。 COMETは,従来のファインタニング手法に比べて,サンプル効率が向上し,多様なオブジェクト数で新しい環境に適応できることを示す。
論文参考訳（メタデータ） (2024-04-23T15:03:37Z)
Learning Optimal Features via Partial Invariance [18.552839725370383]
不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。 IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
論文参考訳（メタデータ） (2023-01-28T02:48:14Z)
How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文参考訳（メタデータ） (2022-06-17T16:18:28Z)
Causal Discovery in Heterogeneous Environments Under the Sparse Mechanism Shift Hypothesis [7.895866278697778]
機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。実際、この仮定は環境間の分散シフトによってほとんど常に破られる。そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
論文参考訳（メタデータ） (2022-06-04T15:39:30Z)
Bias-inducing geometries: an exactly solvable data model with fairness implications [13.690313475721094]
我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。フェアネス評価によく用いられる観測対象の正確な予測値を得る。
論文参考訳（メタデータ） (2022-05-31T16:27:57Z)
Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
論文参考訳（メタデータ） (2021-07-21T14:22:14Z)
Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文参考訳（メタデータ） (2020-11-24T19:52:38Z)
Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。