論文の概要: Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments

• arxiv url: http://arxiv.org/abs/2106.09913v1
• Date: Fri, 18 Jun 2021 04:39:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:20:26.184510
• Title: Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments
• Title（参考訳）: 反復的特徴マッチング:対数環境を用いた証明可能なドメイン一般化に向けて
• Authors: Yining Chen, Elan Rosenfeld, Mark Sellke, Tengyu Ma, Andrej Risteski
• Abstract要約: ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 55.24895403089543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization aims at performing well on unseen test environments with data from a limited number of training environments. Despite a proliferation of proposal algorithms for this task, assessing their performance, both theoretically and empirically is still very challenging. Moreover, recent approaches such as Invariant Risk Minimization (IRM) require a prohibitively large number of training environments - linear in the dimension of the spurious feature space $d_s$ - even on simple data models like the one proposed by [Rosenfeld et al., 2021]. Under a variant of this model, we show that both ERM and IRM cannot generalize with $o(d_s)$ environments. We then present a new algorithm based on performing iterative feature matching that is guaranteed with high probability to yield a predictor that generalizes after seeing only $O(\log{d_s})$ environments.
• Abstract（参考訳）: ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 この課題に対する提案アルゴリズムの急増にもかかわらず、その性能を評価することは理論的にも経験的にも依然として非常に困難である。 さらに、invariant risk minimization (irm) のような最近のアプローチでは、[rosenfeld et al., 2021] によって提案されたような単純なデータモデルでも、スプリアス特徴空間の次元に線形な、非常に多くのトレーニング環境が必要である。 このモデルの変種の下では、ERMとIRMの両方が$o(d_s)$環境では一般化できないことを示す。 次に,$o(\log{d_s})$環境のみを見た後に一般化する予測器を生成するために,高い確率で保証される反復的特徴マッチングを行う新しいアルゴリズムを提案する。

関連論文リスト

• Sample-efficient Learning of Infinite-horizon Average-reward MDPs with General Function Approximation [53.17668583030862]
  一般関数近似の文脈において,無限水平平均逆マルコフ決定過程(AMDP)について検討する。 最適化最適化(LOOP)と呼ばれる新しいアルゴリズムフレームワークを提案する。 我々は LOOP がサブ線形 $tildemathcalO(mathrmpoly(d, mathrmsp(V*)) sqrtTbeta )$ regret を達成することを示す。
  論文  参考訳（メタデータ） (2024-04-19T06:24:22Z)
• Invariant-Feature Subspace Recovery: A New Class of Provable Domain Generalization Algorithms [14.248005245508432]
  ドメインの一般化は、目に見えないテスト環境でうまく一般化するために、一連のトレーニング環境上でトレーニングされたモデルを要求する。 証明可能な回帰問題を実現するための新しいアルゴリズムであるサブスペースリカバリ(ISR)を提案する。 ISRはニューラルネットなどのニューラルネットのポストプロセッシング手法として使用できる。
  論文  参考訳（メタデータ） (2023-11-02T03:24:55Z)
• EM for Mixture of Linear Regression with Clustered Data [6.948976192408852]
  分散データにおけるクラスタ構造をどのように活用して学習手法を改善するかについて議論する。 我々は、既知の期待値最大化(EM)法を用いて、依存サンプルの$m$バッチから最大値パラメータを推定する。 構造化データ上のEMが適切であれば、$m$が$eo(n)$になる限り、同じ統計的精度に達するのに$O(1)$しか必要としないことを示す。
  論文  参考訳（メタデータ） (2023-08-22T15:47:58Z)
• Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
  コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。 我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:56:20Z)
• Probable Domain Generalization via Quantile Risk Minimization [90.15831047587302]
  ドメインの一般化は、目に見えないテスト分布でうまく機能する予測子を求める。 我々はDGのための新しい確率的フレームワークを提案し、高い確率でよく動作する予測器を学習することを目指している。
  論文  参考訳（メタデータ） (2022-07-20T14:41:09Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• Provable Domain Generalization via Invariant-Feature Subspace Recovery [18.25619572103648]
  本稿では,不変部分空間回復(ISR)を用いた領域一般化を提案する。 トレーニングIRMとは異なり、アルゴリズムは非変分問題をバイパスし、グローバルコンバージェンスを楽しむ。 さらに、実世界の3つの画像データセットにおいて、ISR-は単純で効果的な後処理法として利用できることを示す。
  論文  参考訳（メタデータ） (2022-01-30T21:22:47Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。