論文の概要: Learning Representations that Support Robust Transfer of Predictors

• arxiv url: http://arxiv.org/abs/2110.09940v1
• Date: Tue, 19 Oct 2021 13:00:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 18:49:18.562372
• Title: Learning Representations that Support Robust Transfer of Predictors
• Title（参考訳）: 予測子のロバスト移動を支援する学習表現
• Authors: Yilun Xu, Tommi Jaakkola
• Abstract要約: 我々は、新しい環境への移動を最適化することに特化した、ロバストな見積もり基準、転送リスクを導入します。 IRMにインスパイアされたものの、転送リスクは分布外一般化の基準として優れていることを示す。
• 参考スコア（独自算出の注目度）: 5.65658124285176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring generalization to unseen environments remains a challenge. Domain shift can lead to substantially degraded performance unless shifts are well-exercised within the available training environments. We introduce a simple robust estimation criterion -- transfer risk -- that is specifically geared towards optimizing transfer to new environments. Effectively, the criterion amounts to finding a representation that minimizes the risk of applying any optimal predictor trained on one environment to another. The transfer risk essentially decomposes into two terms, a direct transfer term and a weighted gradient-matching term arising from the optimality of per-environment predictors. Although inspired by IRM, we show that transfer risk serves as a better out-of-distribution generalization criterion, both theoretically and empirically. We further demonstrate the impact of optimizing such transfer risk on two controlled settings, each representing a different pattern of environment shift, as well as on two real-world datasets. Experimentally, the approach outperforms baselines across various out-of-distribution generalization tasks. Code is available at \url{https://github.com/Newbeeer/TRM}.
• Abstract（参考訳）: 見えない環境への一般化の確保は依然として課題である。 ドメインシフトは、利用可能なトレーニング環境内でシフトが十分に実行されない限り、実質的なパフォーマンス低下につながる可能性がある。 われわれは、新しい環境への移動を最適化するためのシンプルなロバストな見積もり基準、転送リスクを導入している。 効果的な基準は、ある環境において訓練された任意の最適な予測器を別の環境に適用するリスクを最小限に抑える表現を見つけることである。 伝達リスクは基本的に、環境ごとの予測器の最適性から生じる直接伝達項と重み付き勾配整合項の2つの項に分解される。 IRMにインスパイアされたものの、伝達リスクは理論上も経験上も、分布外一般化の基準として優れていることを示す。 さらに,環境変化の異なるパターンを表す2つの制御された設定と,現実世界の2つのデータセットに対して,転送リスクを最適化することで,その影響を実証する。 実験的に、このアプローチは様々な分散の一般化タスクでベースラインを上回る。 コードは \url{https://github.com/Newbeeer/TRM} で入手できる。

関連論文リスト

• Towards Context-Aware Domain Generalization: Understanding the Benefits and Limits of Marginal Transfer Learning [1.5320861212113897]
  我々は、コンテキストの概念をデータポイントの集合の置換不変表現として定式化する。 経験的分析により、我々の基準は好ましくないシナリオと好ましくないシナリオの両方を識別するのに有効であることが示された。
  論文  参考訳（メタデータ） (2023-12-15T05:18:07Z)
• Continual Invariant Risk Minimization [46.051656238770086]
  経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
  論文  参考訳（メタデータ） (2023-10-21T11:44:47Z)
• Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study [16.07380451502911]
  本稿では,非ガウス雑音に対処する最小誤差エントロピー基準のロバスト性を再考する。 本稿では,分散シフトが一般的である実生活伝達学習回帰タスクの実現可能性と有用性について検討する。
  論文  参考訳（メタデータ） (2023-07-17T15:38:11Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Grounding Aleatoric Uncertainty in Unsupervised Environment Design [32.00797965770773]
  部分的に観測可能な設定では、最適ポリシーは、環境のアレタリックなパラメータに対する地道的な分布に依存する可能性がある。 基礎となるトレーニングデータがCICSによってバイアスを受ける場合であっても, 地中実効性関数を最適化するミニマックス後悔UED法を提案する。
  論文  参考訳（メタデータ） (2022-07-11T22:45:29Z)
• On the Equity of Nuclear Norm Maximization in Unsupervised Domain Adaptation [53.29437277730871]
  核ノルムは、教師なし領域適応モデルの転送可能性を高める力を示している。 クラスレベルとサンプルレベルから予測的差別性と株式の両方を最大化する2つの新たな損失が提案されている。
  論文  参考訳（メタデータ） (2022-04-12T07:55:47Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Robust Reconfigurable Intelligent Surfaces via Invariant Risk and Causal Representations [55.50218493466906]
  本稿では,データ分布の変化に伴うロバスト再構成可能なインテリジェントサーフェス(ris)システム設計の問題について検討する。 不変リスク最小化(IRM)の概念を用いて、複数の環境にまたがる不変因果表現を用いて、予測器が各環境に対して同時に最適となるようにする。 予測器を探すためにニューラルネットワークベースのソリューションを採用し、その性能は経験的リスク最小化に基づく設計に対するシミュレーションによって検証される。
  論文  参考訳（メタデータ） (2021-05-04T21:36:31Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。