論文の概要: Orthogonal Representation Learning for Estimating Causal Quantities
- arxiv url: http://arxiv.org/abs/2502.04274v2
- Date: Fri, 10 Oct 2025 17:15:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 00:38:45.007506
- Title: Orthogonal Representation Learning for Estimating Causal Quantities
- Title（参考訳）: 因果量推定のための直交表現学習
- Authors: Valentyn Melnychuk, Dennis Frauen, Jonas Schweisthal, Stefan Feuerriegel,
- Abstract要約: 我々は,表現学習とNeyman-orthogonal Learningersを結びつける統一フレームワークを提案する。
低次元多様体仮説の下では、OR-学習者は標準ナイマン-直交学習者の推定誤差を厳密に改善できることを示す。
- 参考スコア（独自算出の注目度）: 59.153491256972806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: End-to-end representation learning has become a powerful tool for estimating causal quantities from high-dimensional observational data, but its efficiency remained unclear. Here, we face a central tension: End-to-end representation learning methods often work well in practice but lack asymptotic optimality in the form of the quasi-oracle efficiency. In contrast, two-stage Neyman-orthogonal learners provide such a theoretical optimality property but do not explicitly benefit from the strengths of representation learning. In this work, we step back and ask two research questions: (1) When do representations strengthen existing Neyman-orthogonal learners? and (2) Can a balancing constraint - commonly proposed technique in the representation learning literature - provide improvements to Neyman-orthogonality? We address these two questions through our theoretical and empirical analysis, where we introduce a unifying framework that connects representation learning with Neyman-orthogonal learners (namely, OR-learners). In particular, we show that, under the low-dimensional manifold hypothesis, the OR-learners can strictly improve the estimation error of the standard Neyman-orthogonal learners. At the same time, we find that the balancing constraint requires an additional inductive bias and cannot generally compensate for the lack of Neyman-orthogonality of the end-to-end approaches. Building on these insights, we offer guidelines for how users can effectively combine representation learning with the classical Neyman-orthogonal learners to achieve both practical performance and theoretical guarantees.
- Abstract（参考訳）: エンド・ツー・エンドの表現学習は、高次元観測データから因果量の推定に強力なツールとなっているが、その効率はいまだに不明である。
エンド・ツー・エンドの表現学習法は、実際はうまく機能するが、準軌道効率の形で漸近的最適性が欠如している。
対照的に、2段階のNeyman-orthogonal Learningersは、このような理論的最適性を提供するが、表現学習の強みから明確に恩恵を受けない。
本研究では,(1)表現が既存のNeyman-orthogonal Learningersを強化しているか,という2つの研究課題について考察する。
および(2) 文献表現において一般的に提案される均衡制約は,Neyman-orthogonalityの改善をもたらすか?
そこで我々は,表現学習とNeyman-orthogonal Learningers(OR-learners)を結びつける統一フレームワークを導入する。
特に、低次元多様体仮説の下では、OR-学習者は標準ナイマン-直交学習者の推定誤差を厳密に改善できることを示す。
同時に、バランス制約には追加の帰納バイアスが必要であり、エンド・ツー・エンドアプローチのナイマン直交性の欠如を概ね補うことはできない。
これらの知見に基づいて,従来のナイマン・オルソゴン学習者と表現学習を効果的に組み合わせ,実践的性能と理論的保証を両立させるためのガイドラインを提供する。
関連論文リスト
- Multi-modal contrastive learning adapts to intrinsic dimensions of shared latent variables [23.100488765078087]
マルチモーダルコントラスト学習から学習した表現の理論的性質について検討する。
合成データセットと実世界のデータセットの両方の実験は、低次元および情報表現を学習する対照的な学習能力を示している。
論文 参考訳（メタデータ） (2025-05-18T15:49:53Z) - Specify Robust Causal Representation from Mixed Observations [35.387451486213344]
観測から純粋に表現を学習することは、予測モデルに有利な低次元のコンパクトな表現を学習する問題を懸念する。
本研究では,観測データからこのような表現を学習するための学習手法を開発した。
理論的および実験的に、学習された因果表現で訓練されたモデルは、敵の攻撃や分布シフトの下でより堅牢であることを示す。
論文 参考訳（メタデータ） (2023-10-21T02:18:35Z) - Resilient Constrained Learning [94.27081585149836]
本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。
我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
論文 参考訳（メタデータ） (2023-06-04T18:14:18Z) - Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
強化学習のための自己予測学習の学習ダイナミクスについて検討する。
本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-06T20:43:37Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。
本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-16T11:23:42Z) - Efficient Performance Bounds for Primal-Dual Reinforcement Learning from
Demonstrations [1.0609815608017066]
本稿では,コスト関数の不明な大規模マルコフ決定プロセスについて考察し,限られた専門家による実証から政策を学習する問題に対処する。
既存の逆強化学習法には強力な理論的保証があるが、計算上は高価である。
ラグランジアン双対性を利用して理論と実践のギャップを埋める新しい双線型サドルポイントフレームワークを導入する。
論文 参考訳（メタデータ） (2021-12-28T05:47:24Z) - The Power of Contrast for Feature Learning: A Theoretical Analysis [42.20116348668721]
対照的な学習は、標準的な自己エンコーダや生成的敵ネットワークよりも優れていることを示す。
また、教師付きコントラスト学習におけるラベル付きデータの影響についても説明する。
論文 参考訳（メタデータ） (2021-10-06T03:10:28Z) - Desiderata for Representation Learning: A Causal Perspective [104.3711759578494]
我々は表現学習の因果的視点を採り、非純粋性と効率性(教師なし表現学習)と非教師なし表現学習(教師なし表現学習)を定式化する。
これは、関心のデシダータを満たす程度を計算可能なメトリクスで評価し、単一の観測データセットから不純物や不整合表現を学習する。
論文 参考訳（メタデータ） (2021-09-08T17:33:54Z) - Provably Efficient Representation Selection in Low-rank Markov Decision
Processes: From Online to Offline RL [84.14947307790361]
オンラインおよびオフラインの強化学習における表現学習のための効率的なアルゴリズムであるReLEXを提案する。
Re-UCBと呼ばれるReLEXのオンラインバージョンは、表現の選択なしでは最先端のアルゴリズムよりも常に悪い性能を発揮することを示す。
オフラインのReLEX-LCBに対して、表現クラスが状態-作用空間をカバーできる場合、アルゴリズムが最適なポリシーを見つけることができることを示す。
論文 参考訳（メタデータ） (2021-06-22T17:16:50Z) - Efficient Iterative Amortized Inference for Learning Symmetric and
Disentangled Multi-Object Representations [8.163697683448811]
本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。
対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。
標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
論文 参考訳（メタデータ） (2021-06-07T14:02:49Z) - Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。
変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。
我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
論文 参考訳（メタデータ） (2020-02-07T16:39:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。