論文の概要: Learning Diverse Features in Vision Transformers for Improved
Generalization
- arxiv url: http://arxiv.org/abs/2308.16274v1
- Date: Wed, 30 Aug 2023 19:04:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 18:39:44.188673
- Title: Learning Diverse Features in Vision Transformers for Improved
Generalization
- Title(参考訳): 一般化改善のための視覚トランスフォーマの多様な特徴の学習
- Authors: Armand Mihai Nicolicioiu, Andrei Liviu Nicolicioiu, Bogdan Alexe,
Damien Teney
- Abstract要約: 視覚変換器(ViT)は、異なる注意頭を持つ頑丈で刺激的な特徴を抽出する傾向があることを示す。
このモジュラリティにより、分散シフト時の性能はテスト時に大幅に改善される。
本稿では,注目者の入力勾配の促進により,学習特徴の多様性と補完性をさらに向上する手法を提案する。
- 参考スコア(独自算出の注目度): 15.905065768434403
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models often rely only on a small set of features even when
there is a rich set of predictive signals in the training data. This makes
models brittle and sensitive to distribution shifts. In this work, we first
examine vision transformers (ViTs) and find that they tend to extract robust
and spurious features with distinct attention heads. As a result of this
modularity, their performance under distribution shifts can be significantly
improved at test time by pruning heads corresponding to spurious features,
which we demonstrate using an "oracle selection" on validation data. Second, we
propose a method to further enhance the diversity and complementarity of the
learned features by encouraging orthogonality of the attention heads' input
gradients. We observe improved out-of-distribution performance on diagnostic
benchmarks (MNIST-CIFAR, Waterbirds) as a consequence of the enhanced diversity
of features and the pruning of undesirable heads.
- Abstract(参考訳): ディープラーニングモデルは、トレーニングデータに豊富な予測信号セットがある場合でも、小さな機能セットのみに依存することが多い。
これにより、モデルは脆く、分散シフトに敏感になる。
そこで本研究では,まず視覚トランスフォーマー(vits)について検討し,異なる注意ヘッドを持つ頑健でスプリアスな特徴を抽出する傾向を示した。
このモジュール性により,検証データ上での"oracle selection"を用いて実証する,スプリアス機能に対応するヘッドをプルーニングすることで,テスト時に配布シフト時のパフォーマンスが大幅に向上する。
次に,注意ヘッドの入力勾配の直交性を促進することにより,学習特徴の多様性と相補性をさらに高める手法を提案する。
診断ベンチマーク(MNIST-CIFAR, Waterbirds)では, 特徴の多様性の向上と望ましくない頭部の刈り取りの結果, 分配性能の改善が観察された。
関連論文リスト
- Prospector Heads: Generalized Feature Attribution for Large Models &
Data [63.33062996732212]
本稿では,特徴帰属のための説明に基づく手法の,効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
論文 参考訳(メタデータ) (2024-02-18T23:01:28Z) - Mitigating Biases with Diverse Ensembles and Diffusion Models [99.6100669122048]
拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークを提案する。
DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。
そこで本研究では,DPM誘導の多様化は,制御信号の追加を必要とせず,一次ショートカットキューへの依存を取り除くのに十分であることを示す。
論文 参考訳(メタデータ) (2023-11-23T15:47:33Z) - Exploring Data Augmentations on Self-/Semi-/Fully- Supervised
Pre-trained Models [24.376036129920948]
本研究では,データ拡張が視力事前訓練モデルの性能に与える影響について検討する。
ランダム消去(Random Erasing)、CutOut(CutOut)、CutMix(CutMix)、MixUp(MixUp)という4種類のデータ拡張を適用します。
画像分類,オブジェクト検出,インスタンスセグメンテーション,セマンティックセグメンテーションなどの視覚タスクにおける性能について報告する。
論文 参考訳(メタデータ) (2023-10-28T23:46:31Z) - MT-SLVR: Multi-Task Self-Supervised Learning for Transformation
In(Variant) Representations [2.94944680995069]
本稿では,パラメータ効率のよいマルチタスク型自己教師型フレームワーク(MT-SLVR)を提案する。
我々は,様々な音声領域から抽出された数ショットの分類タスクに対するアプローチを評価し,分類性能の向上を実証した。
論文 参考訳(メタデータ) (2023-05-29T09:10:50Z) - Is Self-Supervised Learning More Robust Than Supervised Learning? [29.129681691651637]
自己教師付きコントラスト学習はラベルなしで視覚表現を学習する強力なツールである。
コントラスト学習と教師あり学習の行動差を定量化するために、一連のロバストネステストを実施している。
事前トレーニングの汚職の下では、パッチシャッフルやピクセル強度の変化に対して、対照的な学習が脆弱でありながら、データセットレベルの分布変化には敏感でないことが分かりました。
論文 参考訳(メタデータ) (2022-06-10T17:58:00Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳(メタデータ) (2022-02-09T12:03:02Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳(メタデータ) (2021-12-10T20:46:13Z) - Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。
ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文 参考訳(メタデータ) (2021-05-17T02:39:22Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。