論文の概要: In-N-Out: Pre-Training and Self-Training using Auxiliary Information for Out-of-Distribution Robustness

• arxiv url: http://arxiv.org/abs/2012.04550v3
• Date: Wed, 7 Apr 2021 16:47:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:44:40.935789
• Title: In-N-Out: Pre-Training and Self-Training using Auxiliary Information for Out-of-Distribution Robustness
• Title（参考訳）: in-n-out: 分散ロバスト性のための補助情報を用いた事前学習と自己学習
• Authors: Sang Michael Xie, Ananya Kumar, Robbie Jones, Fereshte Khani, Tengyu Ma, Percy Liang
• Abstract要約: In-N-Outは補助的な入力を持つモデルを訓練し、それを全ての分配された入力に擬似ラベル付けし、OOD補助的な出力でモデルを事前訓練する。 In-N-Outがin- DistributionionとOODエラーの両方で補助入力や出力を単独で上回っていることを理論的および実証的に示します。
• 参考スコア（独自算出の注目度）: 97.14973924276201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consider a prediction setting with few in-distribution labeled examples and many unlabeled examples both in- and out-of-distribution (OOD). The goal is to learn a model which performs well both in-distribution and OOD. In these settings, auxiliary information is often cheaply available for every input. How should we best leverage this auxiliary information for the prediction task? Empirically across three image and time-series datasets, and theoretically in a multi-task linear regression setting, we show that (i) using auxiliary information as input features improves in-distribution error but can hurt OOD error; but (ii) using auxiliary information as outputs of auxiliary pre-training tasks improves OOD error. To get the best of both worlds, we introduce In-N-Out, which first trains a model with auxiliary inputs and uses it to pseudolabel all the in-distribution inputs, then pre-trains a model on OOD auxiliary outputs and fine-tunes this model with the pseudolabels (self-training). We show both theoretically and empirically that In-N-Out outperforms auxiliary inputs or outputs alone on both in-distribution and OOD error.
• Abstract（参考訳）: in-distribution ラベル付き例と、in-out-distribution (ood) のラベル付き例が多数ある予測セットを考える。 目標は、流通とOODの両方でうまく機能するモデルを学ぶことである。 これらの設定では、補助情報は入力毎に安価に利用できることが多い。 予測タスクにこの補助情報をどのように活用するか。 3つの画像および時系列データセットを経験的に比較し、理論的には複数タスクの線形回帰設定において、(i)入力特徴として補助情報を使用すると、分配エラーが改善するが、(ii)補助情報を使用するとOODエラーが改善することを示した。 In-N-Outは、まず補助入力でモデルを訓練し、それを全ての分配入力に擬似ラベル付けし、OOD補助出力でモデルを事前訓練し、擬似ラベル(自己学習)でこのモデルを微調整する。 In-N-Outは、分布内およびOOD誤差の両方で補助的な入力や出力よりも優れていることを示す。

関連論文リスト

• Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
  本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。 ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。 我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-03-16T04:19:48Z)
• Ask Your Distribution Shift if Pre-Training is Right for You [74.18516460467019]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Unsupervised Out-of-Distribution Detection by Restoring Lossy Inputs with Variational Autoencoder [3.498694457257263]
  OOD検出のための新しいVAEベースのスコアであるError Reduction(ER)を提案する。 ERは、トレーニングセットの損失バージョンを入力として、元のセットをターゲットとして、VAEに基づいています。
  論文  参考訳（メタデータ） (2023-09-05T09:42:15Z)
• Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
  アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。 現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。 これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。 我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
  論文  参考訳（メタデータ） (2023-02-21T21:31:20Z)
• Robustness to Spurious Correlations Improves Semantic Out-of-Distribution Detection [24.821151013905865]
  画像入力のアウト・オブ・ディストリビューション(OOD)検出のための有望なアプローチとして,予測モデルの出力や特徴表現を利用する手法が登場した。 SN-OOD検出の故障について説明し、その対策としてニュアンス対応のOOD検出を提案する。
  論文  参考訳（メタデータ） (2023-02-08T15:28:33Z)
• Training OOD Detectors in their Natural Habitats [31.565635192716712]
  アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。 近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。 我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:38:39Z)
• Introspective Distillation for Robust Question Answering [70.18644911309468]
  質問応答(QA)モデルは、例えば、視覚的QAに先行する言語や、読解における位置バイアスなど、データのバイアスを利用するためによく知られている。 近年の脱バイアス法は, 分配内(ID)性能のかなりの犠牲を伴い, 分配外(OOD)の一般化性を良好に達成している。 IntroD(Introspective Distillation)と呼ばれる新しい脱湿法を提案し,両者のQAを最大限に活用する。
  論文  参考訳（メタデータ） (2021-11-01T15:30:15Z)
• Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
  信頼性正則化という新しいデバイアス化手法を導入する。 モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。 提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-01T11:22:55Z)
• Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data [87.61504710345528]
  我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。 具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。 大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
  論文  参考訳（メタデータ） (2020-02-26T04:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。