論文の概要: Doubly Robust Off-Policy Learning on Low-Dimensional Manifolds by Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2011.01797v1
• Date: Tue, 3 Nov 2020 15:44:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 04:08:14.235037
• Title: Doubly Robust Off-Policy Learning on Low-Dimensional Manifolds by Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークによる低次元マニフォールドの二重ロバストオフポリティ学習
• Authors: Minshuo Chen, Hao Liu, Wenjing Liao, Tuo Zhao
• Abstract要約: 本稿では、ディープニューラルネットワークによる二重頑健なオフポリシー学習について研究する。 我々は、多様体の次元に依存する高速な速度で収束する漸近的後悔境界を証明した。
• 参考スコア（独自算出の注目度）: 45.75839193177168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Causal inference explores the causation between actions and the consequent rewards on a covariate set. Recently deep learning has achieved a remarkable performance in causal inference, but existing statistical theories cannot well explain such an empirical success, especially when the covariates are high-dimensional. Most theoretical results in causal inference are asymptotic, suffer from the curse of dimensionality, and only work for the finite-action scenario. To bridge such a gap between theory and practice, this paper studies doubly robust off-policy learning by deep neural networks. When the covariates lie on a low-dimensional manifold, we prove nonasymptotic regret bounds, which converge at a fast rate depending on the intrinsic dimension of the manifold. Our results cover both the finite- and continuous-action scenarios. Our theory shows that deep neural networks are adaptive to the low-dimensional geometric structures of the covariates, and partially explains the success of deep learning for causal inference.
• Abstract（参考訳）: 因果推論は共変集合上の行動とその後の報酬の間の因果関係を探索する。 近年、深層学習は因果推論において顕著な成果を上げているが、既存の統計的理論ではそのような経験的成功をうまく説明できない。 因果推論のほとんどの理論的な結果は漸近的であり、次元の呪いに苦しめられ、有限作用シナリオでのみ機能する。 このような理論と実践のギャップを埋めるため,本論文では,ディープニューラルネットワークによるオフポリシー学習を二重に検討する。 共変量体が低次元多様体上にあるとき、その多様体の内在次元に依存する高速な速度で収束する漸近的後悔境界を証明する。 この結果は,有限作用シナリオと連続作用シナリオの両方をカバーする。 本理論は,深層ニューラルネットワークが共変量の低次元幾何構造に適応していることを示し,因果推論における深層学習の成功を部分的に説明している。

関連論文リスト

• Causal inference through multi-stage learning and doubly robust deep neural networks [10.021381302215062]
  ディープニューラルネットワーク(DNN)は、大規模教師付き学習問題において顕著な経験的性能を示した。 本研究は、複雑な因果推論タスクの幅広い範囲にわたるDNNの適用について検討する。
  論文  参考訳（メタデータ） (2024-07-11T14:47:44Z)
• The Impact of Geometric Complexity on Neural Collapse in Transfer Learning [6.554326244334867]
  損失面の平坦さと神経崩壊は、最近、有用な事前学習指標として現れている。 実験と理論を通じて、事前学習されたネットワークの幾何学的複雑さに影響を与えるメカニズムが神経崩壊に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-24T16:52:09Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• On the Minimal Adversarial Perturbation for Deep Neural Networks with Provable Estimation Error [65.51757376525798]
  敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。 検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。 本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。 その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
  論文  参考訳（メタデータ） (2022-01-04T16:40:03Z)
• Asymptotic Risk of Overparameterized Likelihood Models: Double Descent Theory for Deep Neural Networks [12.132641563193582]
  深層モデルを含む可視性モデルに対する一般クラスのリスクについて検討する。 並列深層ニューラルネットワークやアンサンブル学習など,いくつかの明示的なモデルが我々の理論と一致していることを示す。
  論文  参考訳（メタデータ） (2021-02-28T13:02:08Z)
• Verifying the Causes of Adversarial Examples [5.381050729919025]
  ニューラルネットワークのロバスト性は、入力に対するほとんど知覚できない摂動を含む敵の例によって挑戦される。 本稿では,敵対的事例の潜在的な原因の収集と,慎重に設計された制御実験による検証(あるいは部分的に検証)を行う。 実験の結果, 幾何学的要因はより直接的な原因であり, 統計的要因は現象を増大させることが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-19T16:17:20Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。