論文の概要: Out-of-Variable Generalization

• arxiv url: http://arxiv.org/abs/2304.07896v1
• Date: Sun, 16 Apr 2023 21:29:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 16:51:34.448351
• Title: Out-of-Variable Generalization
• Title（参考訳）: 変数外一般化
• Authors: Siyuan Guo, Jonas Wildberger, Bernhard Sch\"olkopf
• Abstract要約: エージェントが新しい、目に見えない環境でうまく機能する能力は、知性の重要な側面である。 機械学習では、この能力は強い、あるいは分布外一般化(out-of-distriion generalization)と呼ばれる。 一方の環境の残差分布は、観測されていない因果親に対する真の生成関数の部分微分を符号化していることを示す。
• 参考スコア（独自算出の注目度）: 8.253955452334864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability of an agent to perform well in new and unseen environments is a crucial aspect of intelligence. In machine learning, this ability is referred to as strong or out-of-distribution generalization. However, simply considering differences in data distributions is not sufficient to fully capture differences in environments. In the present paper, we assay out-of-variable generalization, which refers to an agent's ability to handle new situations that involve variables never jointly observed before. We expect that such ability is important also for AI-driven scientific discovery: humans, too, explore 'Nature' by probing, observing and measuring subsets of variables at one time. Mathematically, it requires efficient re-use of past marginal knowledge, i.e., knowledge over subsets of variables. We study this problem, focusing on prediction tasks that involve observing overlapping, yet distinct, sets of causal parents. We show that the residual distribution of one environment encodes the partial derivative of the true generating function with respect to the unobserved causal parent. Hence, learning from the residual allows zero-shot prediction even when we never observe the outcome variable in the other environment.
• Abstract（参考訳）: エージェントが新しくて目に見えない環境でうまく機能する能力は、インテリジェンスの重要な側面である。 機械学習では、この能力は強いあるいは分布外一般化と呼ばれる。 しかし、単にデータ分布の違いを考慮するだけでは、環境の違いを完全に捉えるには不十分である。 本稿では,これまで観測されなかった変数を含む新たな状況に対処するエージェントの能力について,変数外一般化について検討する。 人間もまた、変数のサブセットを一度に探索し、観察し、測定することで「自然」を探索する。 数学的には、過去の限界知識、すなわち変数の部分集合上の知識の効率的な再利用が必要である。 本研究では,重なり合うが相違する因果関係の親の集合を観察する際の予測課題に着目し,この問題を考察する。 ある環境の残差分布は、観測されていない因果親に対する真の生成関数の部分微分を符号化していることを示す。 したがって、残差から学習することで、他の環境で結果変数を観測しない場合でもゼロショット予測が可能となる。

関連論文リスト

• Fairness Hub Technical Briefs: Definition and Detection of Distribution Shift [0.5825410941577593]
  分散シフトは機械学習タスクにおいて一般的な状況であり、モデルのトレーニングに使用されるデータは、モデルが現実世界に適用されるデータとは異なる。 本稿では,教育環境における分布変化の定義と検出に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-23T05:29:36Z)
• The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing [9.551225697705199]
  本稿では,不均一なデータに対するグラディエント・ディキセント(SGD)の暗黙バイアスについて検討し,その暗黙バイアスがモデル学習を不変解へと導くことを示す。 具体的には、各環境において、信号が(i)全環境間で共有される低ランク不変部分と(ii)環境依存のスプリアス成分とを含む多環境低ランク行列センシング問題について理論的に検討する。 重要な洞察は、明示的な正規化を伴わずに各環境で大きなステップサイズの大バッチSGDを逐次使用するだけで、不均一性に起因する振動は、モデル学習の急激なシグナルを確実に阻止することができることである。
  論文  参考訳（メタデータ） (2024-03-03T07:38:24Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• Causal Transportability for Visual Recognition [70.13627281087325]
  画像とラベルの関連性は、設定間では転送できないため、標準分類器がフェールすることを示す。 次に、すべての共起源を摂食する因果効果が、ドメイン間で不変であることを示す。 これにより、画像分類における因果効果を推定するアルゴリズムを開発する動機付けとなる。
  論文  参考訳（メタデータ） (2022-04-26T15:02:11Z)
• Learning to Transfer with von Neumann Conditional Divergence [14.926485055255942]
  我々は、複数の領域間の転送可能性を改善するために、最近提案されたフォン・ノイマン条件分岐を導入する。 本研究では,これらの課題が同時に,あるいは逐次的に観察されることを前提として,新たな学習目標を設計する。 どちらのシナリオでも、新しいタスクの一般化誤差が小さく、(シーケンシャルな設定で)ソースタスクを忘れないという点で、最先端のメソッドに対して好ましい性能が得られる。
  論文  参考訳（メタデータ） (2021-08-07T22:18:23Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)
• What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
  現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。 最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。 本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T05:21:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。