論文の概要: Towards Context-Aware Domain Generalization: Understanding the Benefits
and Limits of Marginal Transfer Learning
- arxiv url: http://arxiv.org/abs/2312.10107v2
- Date: Wed, 21 Feb 2024 13:57:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 19:40:43.955266
- Title: Towards Context-Aware Domain Generalization: Understanding the Benefits
and Limits of Marginal Transfer Learning
- Title（参考訳）: コンテキスト認識ドメインの一般化に向けて : 限界伝達学習の利点と限界を理解する
- Authors: Jens M\"uller, Lars K\"uhmichel, Martin Rohbeck, Stefan T. Radev,
Ullrich K\"othe
- Abstract要約: 我々は、コンテキストの概念をデータポイントの集合の置換不変表現として定式化する。
経験的分析により、我々の基準は好ましくないシナリオと好ましくないシナリオの両方を識別するのに有効であることが示された。
- 参考スコア（独自算出の注目度）: 1.5320861212113897
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we analyze the conditions under which information about the
context of an input $X$ can improve the predictions of deep learning models in
new domains. Following work in marginal transfer learning in Domain
Generalization (DG), we formalize the notion of context as a
permutation-invariant representation of a set of data points that originate
from the same domain as the input itself. We offer a theoretical analysis of
the conditions under which this approach can, in principle, yield benefits, and
formulate two necessary criteria that can be easily verified in practice.
Additionally, we contribute insights into the kind of distribution shifts for
which the marginal transfer learning approach promises robustness. Empirical
analysis shows that our criteria are effective in discerning both favorable and
unfavorable scenarios. Finally, we demonstrate that we can reliably detect
scenarios where a model is tasked with unwarranted extrapolation in
out-of-distribution (OOD) domains, identifying potential failure cases.
Consequently, we showcase a method to select between the most predictive and
the most robust model, circumventing the well-known trade-off between
predictive performance and robustness.
- Abstract（参考訳）: 本研究では,入力された$X$のコンテキストに関する情報が,新しいドメインにおけるディープラーニングモデルの予測を改善する条件を解析する。
ドメイン一般化(DG)における境界伝達学習の研究に続いて、入力自身と同じドメインから派生したデータポイントの集合の置換不変表現としてコンテキストの概念を定式化する。
我々は,本手法が原則として得られる条件を理論的に分析し,実際に容易に検証可能な2つの必要条件を定式化する。
さらに,限界移動学習アプローチが堅牢性を約束する分布シフトの種別に関する洞察にも貢献する。
実証分析の結果,評価基準は好ましくないシナリオと好ましくないシナリオの両方を識別するのに有効であることがわかった。
最後に,out-of-distribution(ood)ドメインにおける不当な外挿処理をモデルが処理するシナリオを確実に検出し,潜在的な障害ケースを識別できることを実証する。
その結果、予測性能とロバスト性の間のトレードオフを回避し、最も予測的かつ最も堅牢なモデルを選択する方法を紹介した。
関連論文リスト
- Harnessing the Power of Vicinity-Informed Analysis for Classification under Covariate Shift [9.530897053573186]
転送学習は、ソース分布からのデータを活用することにより、ターゲット分布の予測精度を向上させる。
本稿では,周辺情報,すなわちデータポイントの局所的構造を利用した新しい異種性尺度を提案する。
提案手法を用いて過大な誤差を特徴付けるとともに,従来の手法と比較して高速あるいは競合的な収束率を示す。
論文 参考訳（メタデータ） (2024-05-27T07:55:27Z) - Optimal Aggregation of Prediction Intervals under Unsupervised Domain Shift [9.387706860375461]
分散シフトは、基礎となるデータ生成プロセスが変化したときに発生し、モデルの性能のずれにつながる。
予測間隔は、その基礎となる分布によって引き起こされる不確実性を特徴づける重要なツールとして機能する。
予測区間を集約し,最小の幅と対象領域を適切にカバーする手法を提案する。
論文 参考訳（メタデータ） (2024-05-16T17:55:42Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Fair Representation Learning using Interpolation Enabled Disentanglement [9.043741281011304]
a) 下流タスクに対する学習された表現の有用性を確保しつつ、公平な不整合表現を同時に学べるか、(b) 提案手法が公正かつ正確であるかどうかに関する理論的知見を提供する。
前者に対応するために,補間可能外乱を用いた公正表現学習法FRIEDを提案する。
論文 参考訳（メタデータ） (2021-07-31T17:32:12Z) - On the benefits of representation regularization in invariance based
domain generalization [6.197602794925773]
ドメインの一般化は、観測された環境と見えない環境の間のこのような予測ギャップを軽減することを目的としている。
本稿では、単に不変表現の学習が、目に見えない環境に対して脆弱であることを明らかにする。
さらに, 領域一般化におけるロバスト性向上のための効率的な正則化手法を考案した。
論文 参考訳（メタデータ） (2021-05-30T13:13:55Z) - A Bit More Bayesian: Domain-Invariant Learning with Uncertainty [111.22588110362705]
ドメインの一般化は、ドメインシフトと、ターゲットドメインデータのアクセス不能に起因する不確実性のために困難である。
本稿では,変分ベイズ推定に基づく確率的枠組みを用いて,両課題に対処する。
2層ベイズ型ニューラルネットワークで共同で確立されたドメイン不変表現と分類器を導出する。
論文 参考訳（メタデータ） (2021-05-09T21:33:27Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Learning to Learn with Variational Information Bottleneck for Domain
Generalization [128.90691697063616]
ドメイン一般化モデルは、これまで見つからなかった領域に一般化することを学ぶが、予測の不確実性とドメインシフトに悩まされる。
ドメイン一般化のための確率論的メタラーニングモデルを導入し、ドメイン間で共有されるパラメータを分布としてモデル化する。
ドメインシフトに対処するため、メタ変動情報ボトルネックという提案原則を用いてドメイン不変表現を学習し、メタVIBと呼ぶ。
論文 参考訳（メタデータ） (2020-07-15T12:05:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。