論文の概要: Assaying Out-Of-Distribution Generalization in Transfer Learning

• arxiv url: http://arxiv.org/abs/2207.09239v1
• Date: Tue, 19 Jul 2022 12:52:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 13:20:06.820935
• Title: Assaying Out-Of-Distribution Generalization in Transfer Learning
• Title（参考訳）: 転校学習におけるアウトオブディストリビューションの一般化
• Authors: Florian Wenzel, Andrea Dittadi, Peter Vincent Gehler, Carl-Johann Simon-Gabriel, Max Horn, Dominik Zietlow, David Kernert, Chris Russell, Thomas Brox, Bernt Schiele, Bernhard Sch\"olkopf, Francesco Locatello
• Abstract要約: 私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。 私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
• 参考スコア（独自算出の注目度）: 103.57862972967273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since out-of-distribution generalization is a generally ill-posed problem, various proxy targets (e.g., calibration, adversarial robustness, algorithmic corruptions, invariance across shifts) were studied across different research programs resulting in different recommendations. While sharing the same aspirational goal, these approaches have never been tested under the same experimental conditions on real data. In this paper, we take a unified view of previous work, highlighting message discrepancies that we address empirically, and providing recommendations on how to measure the robustness of a model and how to improve it. To this end, we collect 172 publicly available dataset pairs for training and out-of-distribution evaluation of accuracy, calibration error, adversarial attacks, environment invariance, and synthetic corruptions. We fine-tune over 31k networks, from nine different architectures in the many- and few-shot setting. Our findings confirm that in- and out-of-distribution accuracies tend to increase jointly, but show that their relation is largely dataset-dependent, and in general more nuanced and more complex than posited by previous, smaller scale studies.
• Abstract（参考訳）: アウトオブディストリビューションの一般化は一般的には不適切な問題であるため、様々な研究プログラムで様々なプロキシターゲット(例えば、キャリブレーション、逆ロバスト性、アルゴリズム的腐敗、シフト間の不変性)が研究され、異なる推奨結果が得られた。 同じ実証目標を共有しながら、これらのアプローチは実データ上で同じ実験条件下でテストされたことはない。 本稿では,先行研究の統一的な視点を取り,経験的に対処するメッセージの不一致を強調するとともに,モデルのロバスト性を測定する方法と改善方法を提案する。 この目的のために, 精度, 校正誤差, 敵対的攻撃, 環境不変性, 合成的腐敗の訓練と分散評価のための172組のデータセットを収集した。 私たちは9つの異なるアーキテクチャから31k以上のネットワークを微調整しました。 以上の結果から, 分布域内および分布域外におけるアキュラシーは, 共同で増加する傾向にあるが, その関係はデータセットに依存し, 従来より小さく, 複雑であることが示された。

関連論文リスト

• Distributed, communication-efficient, and differentially private estimation of KL divergence [15.294136011320433]
  分散された機密性の高いデータを管理する上で重要なタスクは、分散の変化の度合いを測定することである。 差分プライバシの下で,計算のフェデレーションモデル間でのKL分散を推定するための新しいアルゴリズムアプローチについて述べる。
  論文  参考訳（メタデータ） (2024-11-25T15:20:40Z)
• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Deriving Causal Order from Single-Variable Interventions: Guarantees & Algorithm [14.980926991441345]
  介入データを含むデータセットは,データ分布に関する現実的な仮定の下で効果的に抽出可能であることを示す。 観察的および介入的設定における各変数の限界分布の比較に依拠する介入忠実性を導入する。 また、多数の単一変数の介入を含むデータセットから因果順序を推測するアルゴリズムであるIntersortを導入する。
  論文  参考訳（メタデータ） (2024-05-28T16:07:17Z)
• Measuring Adversarial Datasets [28.221635644616523]
  研究者は、標準的なベンチマークデータセットでは明らかにできないモデル欠陥をキャプチャするために、さまざまな逆データセットをキュレートした。 これらの敵対的変換の意図的かつ意図しない結果を測定する方法はまだ存在しない。 NLPタスクのテキストインスタンスを記述した既存の定量化指標の体系的な調査を行った。
  論文  参考訳（メタデータ） (2023-11-06T22:08:16Z)
• Robustness May be More Brittle than We Think under Different Degrees of Distribution Shifts [72.90906474654594]
  分散シフトの度合いが異なる場合、モデルの堅牢性はかなり不安定で不整合であることを示す。 我々は,CLIPのような大規模事前学習モデルが,新しい下流タスクの分分分布シフトに敏感であることが観察された。
  論文  参考訳（メタデータ） (2023-10-10T13:39:18Z)
• Multiply Robust Federated Estimation of Targeted Average Treatment Effects [0.0]
  多地点データを用いて,対象個体群に対する有効な因果推論を導出する手法を提案する。 提案手法では,移動学習を組み込んでアンサンブル重みを推定し,ソースサイトからの情報を組み合わせる。
  論文  参考訳（メタデータ） (2023-09-22T03:15:08Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。