論文の概要: Connect Later: Improving Fine-tuning for Robustness with Targeted Augmentations

• arxiv url: http://arxiv.org/abs/2402.03325v2
• Date: Fri, 21 Jun 2024 04:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 19:58:24.482449
• Title: Connect Later: Improving Fine-tuning for Robustness with Targeted Augmentations
• Title（参考訳）: Connect Later: ターゲット拡張によるロバストネスの微調整の改善
• Authors: Helen Qu, Sang Michael Xie,
• Abstract要約: ラベル付きソースドメインでトレーニングされたモデルは、アウト・オブ・ディストリビューション対象ドメインにデプロイされた場合、しばしば不適切な一般化を行う。 ラベルなしのターゲットデータが利用可能なドメイン適応設定では、自己教師付き事前訓練がこのパフォーマンス低下を軽減するための有望な方法である。 プレトレーニング後の微調整を標準化した実世界のタスクについて,ラベル付きソースデータからスクラッチからトレーニングするだけでは,OODエラーが常に改善されないことを示す。 汎用的な拡張で事前訓練した後、分散シフトの知識を活かしたターゲット拡張による微調整を行う。
• 参考スコア（独自算出の注目度）: 15.387990102999773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Models trained on a labeled source domain (e.g., labeled images from wildlife camera traps) often generalize poorly when deployed on an out-of-distribution (OOD) target domain (e.g., images from new camera trap locations). In the domain adaptation setting where unlabeled target data is available, self-supervised pretraining (e.g., masked autoencoding or contrastive learning) is a promising method to mitigate this performance drop. Pretraining improves OOD error when the generic data augmentations used (e.g., masking or cropping) connect the source and target domains, which may be far apart in the input space. In this paper, we show on real-world tasks that standard fine-tuning after pretraining does not consistently improve OOD error over simply training from scratch on labeled source data. To better leverage pretraining for distribution shifts, we propose Connect Later: after pretraining with generic augmentations, fine-tune with targeted augmentations designed with knowledge of the distribution shift. Pretraining learns good representations within the source and target domains, while targeted augmentations connect the domains better during fine-tuning. Connect Later improves average OOD error over standard fine-tuning and supervised learning with targeted augmentations on 4 real-world datasets: Connect Later achieves the state-of-the-art on astronomical time-series classification (AstroClassification) by 2.5%, wildlife species identification (iWildCam-WILDS) with ResNet-50 by 0.9%, and tumor identification (Camelyon17-WILDS) with DenseNet121 by 1.1%; as well as best performance on a new dataset for astronomical time-series redshift prediction (Redshifts) by 0.03 RMSE (11% relative). Code and datasets are available at https://github.com/helenqu/connect-later.
• Abstract（参考訳）: ラベル付きソースドメイン(例えば、野生動物のカメラトラップからのラベル付きイメージ)でトレーニングされたモデルは、アウト・オブ・ディストリビューション(OOD)ターゲットドメイン(例えば、新しいカメラトラップ位置からのイメージ)にデプロイすると、しばしば一般化が不十分になる。 ラベルなし対象データが利用可能なドメイン適応設定では、自己教師付き事前訓練(マスク付き自己符号化、コントラスト学習)がこのパフォーマンス低下を軽減するための有望な方法である。 Pretrainingは、ジェネリックデータ拡張(例えば、マスキングやトリミング)がソースとターゲットドメインを接続する際にOODエラーを改善する。 本稿では,事前学習後の微調整を標準化した実世界のタスクについて,ラベル付きソースデータからスクラッチから学習することよりも,OODエラーを常に改善しないことを示す。 分散シフトの事前学習をより効果的に活用するために、我々はConnect Laterを提案する: 汎用的な拡張で事前訓練した後、分散シフトの知識を活かしたターゲット拡張で微調整を行う。 Pretrainingはソースとターゲットドメイン内の優れた表現を学習し、ターゲット拡張は微調整時にドメインをよりよく接続する。 Connect Laterは、天文時系列分類(AstroClassification)の2.5%、ResNet-50の野生生物種識別(iWildCam-WILDS)の0.9%、DenseNet121の腫瘍識別(Camelyon17-WILDS)の1.1%、天文学的な時系列レッドシフト予測(Redshifts)の0.03 RMSE(11%)の新たなデータセットのパフォーマンスを達成している。 コードとデータセットはhttps://github.com/helenqu/connect-laterで公開されている。

関連論文リスト

• Test-Time Domain Adaptation by Learning Domain-Aware Batch Normalization [39.14048972373775]
  テストタイムドメイン適応は、ソースドメインでトレーニングされたモデルを、ラベルのないいくつかのイメージを使用して、未表示のターゲットドメインに適応することを目的としている。 従来の作業は通常、ラベルとドメイン間の知識を明示的に分離することなく、ネットワーク全体をナビゲート的に更新する。 本稿では,BN層のみを操作することにより,そのような学習の干渉を低減し,ドメイン知識の学習を高めることを提案する。
  論文  参考訳（メタデータ） (2023-12-15T19:22:21Z)
• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Pre-training Graph Neural Network for Cross Domain Recommendation [58.057687253631826]
  推薦システムは、ユーザ/イテムの埋め込みを学習する中心となるアイテムに対するユーザの潜在的関心を予測する。 グラフ表現学習から事前学習を行う現代美術に着想を得て,クロスドメインレコメンデーションのための事前学習および微調整図を提案する。 我々は,グラフエンコーダの自己教師型事前学習を採用するPCRec (Pre-training Graph Neural Network for Cross-Domain Recommendation) を考案した。
  論文  参考訳（メタデータ） (2021-11-16T07:34:42Z)
• Distill and Fine-tune: Effective Adaptation from a Black-box Source Model [138.12678159620248]
  Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。 Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-04T05:29:05Z)
• A Batch Normalization Classifier for Domain Adaptation [0.0]
  トレーニングセット外の予期せぬデータにモデルを適応させることは、新しいアプローチを動機づけ続ける一般的な問題である。 本研究では,ソフトマックスアクティベーション前の出力層におけるバッチ正規化の適用により,改良されたResNetモデルにおける視覚データ領域間の一般化が向上することを示す。
  論文  参考訳（メタデータ） (2021-03-22T08:03:44Z)
• Probing Predictions on OOD Images via Nearest Categories [97.055916832257]
  ニューラルネットワークが未確認のクラスや破損したイメージから画像を分類する際のアウト・オブ・ディストリビューション(OOD)予測挙動について検討する。 我々は、トレーニングセットにおいて、最も近い隣人と同じラベルで分類されたOOD入力の分数を計算するため、新しい測度、最も近いカテゴリ一般化(NCG)を導入する。 我々は、OODデータがロバストネス半径よりも遥かに遠くにある場合でも、ロバストネットワークは自然訓練よりも一貫してNCG精度が高いことを発見した。
  論文  参考訳（メタデータ） (2020-11-17T07:42:27Z)
• Keep it Simple: Image Statistics Matching for Domain Adaptation [0.0]
  ドメイン適応(英: Domain Adaptation, DA)とは、未ラベル画像のみが対象領域から利用可能である場合に検出精度を維持する手法である。 最近の最先端の手法は、敵の訓練戦略を用いて領域ギャップを減らそうとしている。 そこで本研究では,色ヒストグラムと平均画像の共分散を対象領域に合わせることを提案する。 近年の手法と比較して,より簡単な訓練手法を用いて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-05-26T07:32:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。