論文の概要: Out-of-Variable Generalization for Discriminative Models
- arxiv url: http://arxiv.org/abs/2304.07896v3
- Date: Thu, 8 Feb 2024 10:22:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 19:46:35.966506
- Title: Out-of-Variable Generalization for Discriminative Models
- Title（参考訳）: 判別モデルの変数外一般化
- Authors: Siyuan Guo, Jonas Wildberger, Bernhard Sch\"olkopf
- Abstract要約: 機械学習では、エージェントが新しい環境でうまく機能する能力は知性の重要な側面である。
我々は、これまで共同で観測されなかった変数を持つ環境に関する、$textitout-of-variable$ generalizationを調査した。
本稿では,重なり合うが相違する因果予測器の集合に直面する場合,非自明な変数外一般化性能を示す手法を提案する。
- 参考スコア（独自算出の注目度）: 13.075802230332298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability of an agent to do well in new environments is a critical aspect
of intelligence. In machine learning, this ability is known as
$\textit{strong}$ or $\textit{out-of-distribution}$ generalization. However,
merely considering differences in data distributions is inadequate for fully
capturing differences between learning environments. In the present paper, we
investigate $\textit{out-of-variable}$ generalization, which pertains to an
agent's generalization capabilities concerning environments with variables that
were never jointly observed before. This skill closely reflects the process of
animate learning: we, too, explore Nature by probing, observing, and measuring
$\textit{subsets}$ of variables at any given time. Mathematically,
$\textit{out-of-variable}$ generalization requires the efficient re-use of past
marginal information, i.e., information over subsets of previously observed
variables. We study this problem, focusing on prediction tasks across
environments that contain overlapping, yet distinct, sets of causes. We show
that after fitting a classifier, the residual distribution in one environment
reveals the partial derivative of the true generating function with respect to
the unobserved causal parent in that environment. We leverage this information
and propose a method that exhibits non-trivial out-of-variable generalization
performance when facing an overlapping, yet distinct, set of causal predictors.
- Abstract（参考訳）: エージェントが新しい環境でうまく機能する能力は、知性の重要な側面である。
機械学習では、この機能は$\textit{strong}$または$\textit{out-of-distribution}$ generalizationとして知られている。
しかし,学習環境間の差異を完全に把握するには,データ分布の違いを考慮するだけでは不十分である。
本稿では,これまで共同で観測されなかった変数を持つ環境に関するエージェントの一般化機能に関連する,$\textit{out-of-variable}$の一般化について検討する。
このスキルは、学習をアニメーション化する過程をよく反映している。我々は、常に$\textit{subsets}$の変数を探索し、観察し、測定することで自然を探索する。
数学的には、$\textit{out-of-variable}$ generalization は過去の限界情報の効率的な再利用を必要とする。
重なり合うが、異なる原因の集合を含む環境における予測タスクに着目し、この問題について検討する。
分類器を装着すると、ある環境における残差分布は、その環境における観測されていない因果親に対する真の生成関数の部分微分を明らかにする。
我々は,この情報を活用し,重なり合うが相違する因果予測器の集合に直面する場合の,非自明な変数外一般化性能を示す手法を提案する。
関連論文リスト
- Fairness Hub Technical Briefs: Definition and Detection of Distribution Shift [0.5825410941577593]
分散シフトは機械学習タスクにおいて一般的な状況であり、モデルのトレーニングに使用されるデータは、モデルが現実世界に適用されるデータとは異なる。
本稿では,教育環境における分布変化の定義と検出に焦点をあてる。
論文 参考訳（メタデータ） (2024-05-23T05:29:36Z) - The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing [9.551225697705199]
本稿では,不均一なデータに対するグラディエント・ディキセント(SGD)の暗黙バイアスについて検討し,その暗黙バイアスがモデル学習を不変解へと導くことを示す。
具体的には、各環境において、信号が(i)全環境間で共有される低ランク不変部分と(ii)環境依存のスプリアス成分とを含む多環境低ランク行列センシング問題について理論的に検討する。
重要な洞察は、明示的な正規化を伴わずに各環境で大きなステップサイズの大バッチSGDを逐次使用するだけで、不均一性に起因する振動は、モデル学習の急激なシグナルを確実に阻止することができることである。
論文 参考訳（メタデータ） (2024-03-03T07:38:24Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-04-17T01:33:24Z) - Unleashing the Power of Graph Data Augmentation on Covariate
Distribution Shift [50.98086766507025]
本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。
AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
論文 参考訳（メタデータ） (2022-11-05T07:55:55Z) - A Relational Intervention Approach for Unsupervised Dynamics
Generalization in Model-Based Reinforcement Learning [113.75991721607174]
同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。
提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
論文 参考訳（メタデータ） (2022-06-09T15:01:36Z) - Causal Transportability for Visual Recognition [70.13627281087325]
画像とラベルの関連性は、設定間では転送できないため、標準分類器がフェールすることを示す。
次に、すべての共起源を摂食する因果効果が、ドメイン間で不変であることを示す。
これにより、画像分類における因果効果を推定するアルゴリズムを開発する動機付けとなる。
論文 参考訳（メタデータ） (2022-04-26T15:02:11Z) - Learning to Transfer with von Neumann Conditional Divergence [14.926485055255942]
我々は、複数の領域間の転送可能性を改善するために、最近提案されたフォン・ノイマン条件分岐を導入する。
本研究では,これらの課題が同時に,あるいは逐次的に観察されることを前提として,新たな学習目標を設計する。
どちらのシナリオでも、新しいタスクの一般化誤差が小さく、(シーケンシャルな設定で)ソースタスクを忘れないという点で、最先端のメソッドに対して好ましい性能が得られる。
論文 参考訳（メタデータ） (2021-08-07T22:18:23Z) - Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。
本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。
実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
論文 参考訳（メタデータ） (2021-07-07T11:43:59Z) - Iterative Feature Matching: Toward Provable Domain Generalization with
Logarithmic Environments [55.24895403089543]
ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。
我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-18T04:39:19Z) - What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。
最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。
本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
論文 参考訳（メタデータ） (2020-10-11T05:21:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。