論文の概要: Out-of-Variable Generalization
- arxiv url: http://arxiv.org/abs/2304.07896v1
- Date: Sun, 16 Apr 2023 21:29:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 16:51:34.448351
- Title: Out-of-Variable Generalization
- Title(参考訳): 変数外一般化
- Authors: Siyuan Guo, Jonas Wildberger, Bernhard Sch\"olkopf
- Abstract要約: エージェントが新しい、目に見えない環境でうまく機能する能力は、知性の重要な側面である。
機械学習では、この能力は強い、あるいは分布外一般化(out-of-distriion generalization)と呼ばれる。
一方の環境の残差分布は、観測されていない因果親に対する真の生成関数の部分微分を符号化していることを示す。
- 参考スコア(独自算出の注目度): 8.253955452334864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability of an agent to perform well in new and unseen environments is a
crucial aspect of intelligence. In machine learning, this ability is referred
to as strong or out-of-distribution generalization. However, simply considering
differences in data distributions is not sufficient to fully capture
differences in environments. In the present paper, we assay out-of-variable
generalization, which refers to an agent's ability to handle new situations
that involve variables never jointly observed before. We expect that such
ability is important also for AI-driven scientific discovery: humans, too,
explore 'Nature' by probing, observing and measuring subsets of variables at
one time. Mathematically, it requires efficient re-use of past marginal
knowledge, i.e., knowledge over subsets of variables. We study this problem,
focusing on prediction tasks that involve observing overlapping, yet distinct,
sets of causal parents. We show that the residual distribution of one
environment encodes the partial derivative of the true generating function with
respect to the unobserved causal parent. Hence, learning from the residual
allows zero-shot prediction even when we never observe the outcome variable in
the other environment.
- Abstract(参考訳): エージェントが新しくて目に見えない環境でうまく機能する能力は、インテリジェンスの重要な側面である。
機械学習では、この能力は強いあるいは分布外一般化と呼ばれる。
しかし、単にデータ分布の違いを考慮するだけでは、環境の違いを完全に捉えるには不十分である。
本稿では,これまで観測されなかった変数を含む新たな状況に対処するエージェントの能力について,変数外一般化について検討する。
人間もまた、変数のサブセットを一度に探索し、観察し、測定することで「自然」を探索する。
数学的には、過去の限界知識、すなわち変数の部分集合上の知識の効率的な再利用が必要である。
本研究では,重なり合うが相違する因果関係の親の集合を観察する際の予測課題に着目し,この問題を考察する。
ある環境の残差分布は、観測されていない因果親に対する真の生成関数の部分微分を符号化していることを示す。
したがって、残差から学習することで、他の環境で結果変数を観測しない場合でもゼロショット予測が可能となる。
関連論文リスト
- Causal Representation Learning from Multiple Distributions: A General Setting [21.73088044465267]
本稿では,複数の分布からの因果表現学習の一般的,完全に非パラメトリックな設定について述べる。
本研究は、潜在変数上のグラフの空間的制約の下で、基礎となる有向非巡回グラフのモラル化グラフを復元可能であることを示す。
場合によっては、各潜伏変数はコンポーネントワイド変換まで復元できる。
論文 参考訳(メタデータ) (2024-02-07T17:51:38Z) - Invariant Causal Prediction with Locally Linear Models [58.6243132840146]
観測データから対象変数の因果親を同定する作業を検討する。
親識別のための仮説テストに基づくLolicaPという実用的な手法を提案する。
我々は,LolicaPの統計的パワーが標本サイズにおいて指数関数的に高速に収束することを示す。
論文 参考訳(メタデータ) (2024-01-10T15:34:42Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳(メタデータ) (2023-04-17T01:33:24Z) - Unleashing the Power of Graph Data Augmentation on Covariate
Distribution Shift [50.98086766507025]
本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。
AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
論文 参考訳(メタデータ) (2022-11-05T07:55:55Z) - A Relational Intervention Approach for Unsupervised Dynamics
Generalization in Model-Based Reinforcement Learning [113.75991721607174]
同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。
提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
論文 参考訳(メタデータ) (2022-06-09T15:01:36Z) - Causal Transportability for Visual Recognition [70.13627281087325]
画像とラベルの関連性は、設定間では転送できないため、標準分類器がフェールすることを示す。
次に、すべての共起源を摂食する因果効果が、ドメイン間で不変であることを示す。
これにより、画像分類における因果効果を推定するアルゴリズムを開発する動機付けとなる。
論文 参考訳(メタデータ) (2022-04-26T15:02:11Z) - Learning to Transfer with von Neumann Conditional Divergence [14.926485055255942]
我々は、複数の領域間の転送可能性を改善するために、最近提案されたフォン・ノイマン条件分岐を導入する。
本研究では,これらの課題が同時に,あるいは逐次的に観察されることを前提として,新たな学習目標を設計する。
どちらのシナリオでも、新しいタスクの一般化誤差が小さく、(シーケンシャルな設定で)ソースタスクを忘れないという点で、最先端のメソッドに対して好ましい性能が得られる。
論文 参考訳(メタデータ) (2021-08-07T22:18:23Z) - Iterative Feature Matching: Toward Provable Domain Generalization with
Logarithmic Environments [55.24895403089543]
ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。
我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-18T04:39:19Z) - What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。
最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。
本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
論文 参考訳(メタデータ) (2020-10-11T05:21:13Z) - Masking schemes for universal marginalisers [1.0412114420493723]
本研究は,ユニバーサル・サマリヤのトレーニングにおける構造に依存しないマスキング・スキームの効果について考察する。
予測性能と一般化特性の観点から異なるマスキングスキームで訓練されたネットワークを比較した。
論文 参考訳(メタデータ) (2020-01-16T15:35:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。