論文の概要: Towards Understanding Extrapolation: a Causal Lens

• arxiv url: http://arxiv.org/abs/2501.09163v1
• Date: Wed, 15 Jan 2025 21:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:11:55.514993
• Title: Towards Understanding Extrapolation: a Causal Lens
• Title（参考訳）: 外挿の理解に向けて : 因果レンズ
• Authors: Lingjing Kong, Guangyi Chen, Petar Stojanov, Haoxuan Li, Eric P. Xing, Kun Zhang,
• Abstract要約: 我々は、外挿がいつ可能かを理論的に理解し、それを実現するための原則的な方法を提供する。 この定式化の下では、外挿問題を潜在変数識別問題にキャストする。 この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。
• 参考スコア（独自算出の注目度）: 53.15488984371969
• License:
• Abstract: Canonical work handling distribution shifts typically necessitates an entire target distribution that lands inside the training distribution. However, practical scenarios often involve only a handful of target samples, potentially lying outside the training support, which requires the capability of extrapolation. In this work, we aim to provide a theoretical understanding of when extrapolation is possible and offer principled methods to achieve it without requiring an on-support target distribution. To this end, we formulate the extrapolation problem with a latent-variable model that embodies the minimal change principle in causal mechanisms. Under this formulation, we cast the extrapolation problem into a latent-variable identification problem. We provide realistic conditions on shift properties and the estimation objectives that lead to identification even when only one off-support target sample is available, tackling the most challenging scenarios. Our theory reveals the intricate interplay between the underlying manifold's smoothness and the shift properties. We showcase how our theoretical results inform the design of practical adaptation algorithms. Through experiments on both synthetic and real-world data, we validate our theoretical findings and their practical implications.
• Abstract（参考訳）: 分散シフトを扱う標準的な作業は通常、トレーニングディストリビューション内に着陸するターゲット分布全体を必要とする。 しかし、現実的なシナリオでは、少数のサンプルのみを伴い、トレーニングサポートの外にある可能性があるため、外挿の能力が必要である。 本研究では,外挿がいつ可能かを理論的に理解し,オンサポート対象分布を必要とせず,それを実現するための原則的手法を提案することを目的とする。 この目的のために、因果機構における最小変化原理を具現化した潜在変数モデルを用いて補間問題を定式化する。 この定式化の下では、外挿問題を潜在変数識別問題にキャストする。 我々は、シフト特性に関する現実的な条件と、最も困難なシナリオに対処しながら、1つのオフサポート対象サンプルのみが利用可能である場合でも、識別に繋がる推定目標を提供する。 この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。 本稿では,実用適応アルゴリズムの設計について理論的結果を紹介する。 合成データと実世界のデータの両方について実験を行い、理論的知見とその実用的意義を検証した。

関連論文リスト

• Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction [5.38274042816001]
  観測データでは、分布シフトは観測されていない共起因子によって駆動されることが多い。 このことは、観測データを用いた領域適応問題の研究を動機付けます。 学習した低次元部分空間を用いて、ターゲットとソースのリスクの間にほぼ理想的なギャップを生じさせるモデルを示す。
  論文  参考訳（メタデータ） (2024-06-22T17:43:08Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• Towards Characterizing Domain Counterfactuals For Invertible Latent Causal Models [15.817239008727789]
  本研究では,異なるドメインで生成された場合,サンプルがどのようなものであったのかを仮定した,ドメイン反事実と呼ばれる特定のタイプの因果クエリを解析する。 本研究では, 潜在構造因果モデル (SCM) の回復は, ドメイン・デファクト・デファクトを推定するために不要であることを示す。 また、モデル生成過程を単純化し、生成モデル推定を行うための理論的基盤となる実用的なアルゴリズムも開発する。
  論文  参考訳（メタデータ） (2023-06-20T04:19:06Z)
• Effect-Invariant Mechanisms for Policy Generalization [3.701112941066256]
  不変条件分布を利用して、目に見えない環境をより一般化するモデルを学ぶことが提案されている。 効果不変性(英語版)と呼ばれる完全な不変性の緩和を導入し、ゼロショットポリシーの一般化には適切な仮定の下で十分であることを示す。 シミュレーションデータと移動体保健介入データセットを用いて実験結果を提示し,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-06-19T14:50:24Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Causal Discovery in Heterogeneous Environments Under the Sparse Mechanism Shift Hypothesis [7.895866278697778]
  機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。 実際、この仮定は環境間の分散シフトによってほとんど常に破られる。 そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T15:39:30Z)
• Fairness Transferability Subject to Bounded Distribution Shift [5.62716254065607]
  あるソース分布に「フェア」なアルゴリズム予測器が与えられたとしても、あるバウンダリ内のソースと異なる未知のターゲット分布上では、まだフェアなのか? 本研究では,有界分布シフトを考慮した機械学習予測器の統計的グループフェアネスの伝達可能性について検討する。
  論文  参考訳（メタデータ） (2022-05-31T22:16:44Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。