論文の概要: Discovering environments with XRM
- arxiv url: http://arxiv.org/abs/2309.16748v1
- Date: Thu, 28 Sep 2023 17:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 16:59:59.068130
- Title: Discovering environments with XRM
- Title(参考訳): XRMによる環境発見
- Authors: Mohammad Pezeshki, Diane Bouchacourt, Mark Ibrahim, Nicolas Ballas,
Pascal Vincent, David Lopez-Paz
- Abstract要約: アプリケーション間の堅牢なAIシステムを実現するために,クロスリスク最小化(XRM)を提案する。
XRMは2つの双子のネットワークを訓練し、それぞれがトレーニングデータのランダムな半分から学習する。
XRMはオラクル最悪のグループ精度を達成し、分配外一般化における長年の問題を解決する。
- 参考スコア(独自算出の注目度): 33.56835111352877
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Successful out-of-distribution generalization requires environment
annotations. Unfortunately, these are resource-intensive to obtain, and their
relevance to model performance is limited by the expectations and perceptual
biases of human annotators. Therefore, to enable robust AI systems across
applications, we must develop algorithms to automatically discover environments
inducing broad generalization. Current proposals, which divide examples based
on their training error, suffer from one fundamental problem. These methods add
hyper-parameters and early-stopping criteria that are impossible to tune
without a validation set with human-annotated environments, the very
information subject to discovery. In this paper, we propose
Cross-Risk-Minimization (XRM) to address this issue. XRM trains two twin
networks, each learning from one random half of the training data, while
imitating confident held-out mistakes made by its sibling. XRM provides a
recipe for hyper-parameter tuning, does not require early-stopping, and can
discover environments for all training and validation data. Domain
generalization algorithms built on top of XRM environments achieve oracle
worst-group-accuracy, solving a long-standing problem in out-of-distribution
generalization.
- Abstract(参考訳): アウト・オブ・ディストリビューションの一般化には環境アノテーションが必要である。
残念ながら、これらは入手に資源集約的であり、人間のアノテータの期待と知覚バイアスによって、モデル性能との関係が制限される。
したがって、アプリケーション間で堅牢なAIシステムを実現するためには、幅広い一般化をもたらす環境を自動的に発見するアルゴリズムを開発する必要がある。
トレーニングエラーに基づいてサンプルを分割する現在の提案は、ひとつの根本的な問題に悩まされている。
これらの手法は、人間の注釈付き環境の検証セットなしではチューニングが不可能なハイパーパラメータとアーリーストッピング基準を付加する。
本稿では,この問題に対処するクロスリスク最小化(XRM)を提案する。
xrmは、2つのツインネットワークを訓練し、それぞれがトレーニングデータの1つのランダムな半分から学習し、兄弟姉妹が犯した自信のある保留ミスを模倣する。
XRMはハイパーパラメータチューニングのレシピを提供し、早期停止を必要としない。
XRM環境上に構築された領域一般化アルゴリズムはオラクル最悪のグループ精度を実現する。
関連論文リスト
- Scalable Decentralized Algorithms for Online Personalized Mean Estimation [12.002609934938224]
本研究は,各エージェントが実数値分布からサンプルを収集し,その平均値を推定する,オーバーアーキシング問題の簡易版に焦点を当てた。
1つは信念の伝播からインスピレーションを得ており、もう1つはコンセンサスに基づくアプローチを採用している。
論文 参考訳(メタデータ) (2024-02-20T08:30:46Z) - FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。
我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。
FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
論文 参考訳(メタデータ) (2022-11-03T15:48:14Z) - Probable Domain Generalization via Quantile Risk Minimization [90.15831047587302]
ドメインの一般化は、目に見えないテスト分布でうまく機能する予測子を求める。
我々はDGのための新しい確率的フレームワークを提案し、高い確率でよく動作する予測器を学習することを目指している。
論文 参考訳(メタデータ) (2022-07-20T14:41:09Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Provable Domain Generalization via Invariant-Feature Subspace Recovery [18.25619572103648]
本稿では,不変部分空間回復(ISR)を用いた領域一般化を提案する。
トレーニングIRMとは異なり、アルゴリズムは非変分問題をバイパスし、グローバルコンバージェンスを楽しむ。
さらに、実世界の3つの画像データセットにおいて、ISR-は単純で効果的な後処理法として利用できることを示す。
論文 参考訳(メタデータ) (2022-01-30T21:22:47Z) - Centralized Model and Exploration Policy for Multi-Agent RL [13.661446184763117]
部分的に観察可能な完全協調型マルチエージェント設定(Dec-POMDP)での強化学習は、現実世界の多くの課題に対処するために使用できる。
Dec-POMDPの現在のRLアルゴリズムは、サンプルの複雑さに悩まされている。
モデルベースアルゴリズムであるMARCOを3つの協調通信タスクで提案し、サンプル効率を最大20倍改善する。
論文 参考訳(メタデータ) (2021-07-14T00:34:08Z) - Iterative Feature Matching: Toward Provable Domain Generalization with
Logarithmic Environments [55.24895403089543]
ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。
我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-18T04:39:19Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。