論文の概要: BatchFormer: Learning to Explore Sample Relationships for Robust
Representation Learning
- arxiv url: http://arxiv.org/abs/2203.01522v1
- Date: Thu, 3 Mar 2022 05:31:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 16:16:25.845998
- Title: BatchFormer: Learning to Explore Sample Relationships for Robust
Representation Learning
- Title（参考訳）: BatchFormer:ロバスト表現学習のためのサンプル関係探索学習
- Authors: Zhi Hou, Baosheng Yu, Dacheng Tao
- Abstract要約: 本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。
BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。
我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
- 参考スコア（独自算出の注目度）: 93.38239238988719
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the success of deep neural networks, there are still many challenges
in deep representation learning due to the data scarcity issues such as data
imbalance, unseen distribution, and domain shift. To address the
above-mentioned issues, a variety of methods have been devised to explore the
sample relationships in a vanilla way (i.e., from the perspectives of either
the input or the loss function), failing to explore the internal structure of
deep neural networks for learning with sample relationships. Inspired by this,
we propose to enable deep neural networks themselves with the ability to learn
the sample relationships from each mini-batch. Specifically, we introduce a
batch transformer module or BatchFormer, which is then applied into the batch
dimension of each mini-batch to implicitly explore sample relationships during
training. By doing this, the proposed method enables the collaboration of
different samples, e.g., the head-class samples can also contribute to the
learning of the tail classes for long-tailed recognition. Furthermore, to
mitigate the gap between training and testing, we share the classifier between
with or without the BatchFormer during training, which can thus be removed
during testing. We perform extensive experiments on over ten datasets and the
proposed method achieves significant improvements on different data scarcity
applications without any bells and whistles, including the tasks of long-tailed
recognition, compositional zero-shot learning, domain generalization, and
contrastive learning. Code will be made publicly available at
\url{https://github.com/zhihou7/BatchFormer}
- Abstract（参考訳）: ディープニューラルネットワークの成功にもかかわらず、データ不均衡、未認識分布、ドメインシフトといったデータ不足の問題のために、深層表現学習には依然として多くの課題がある。
上記の問題に対処するために、サンプル関係をバニラ方式(入力関数と損失関数の両方の観点から)で探究するために様々な手法が考案され、サンプル関係で学習するためのディープニューラルネットワークの内部構造の研究に失敗した。
そこで本研究では,各ミニバッチからサンプル関係を学習する深層ニューラルネットワーク自体を実現することを提案する。
具体的には、各ミニバッチのバッチ次元に適用されるバッチトランスフォーマまたはバッチフォーマを導入し、トレーニング中のサンプル関係を暗黙的に調査する。
提案手法は, 異なるサンプルの協調作業を可能にする。例えば, ヘッドクラスのサンプルは, ロングテール認識のためのテールクラスの学習にも貢献できる。
さらに、トレーニングとテストの間のギャップを軽減するため、トレーニング中のバッチフォーマの有無に関わらず、分類器を共有することで、テスト中に削除することができる。
提案手法は,10以上のデータセットを対象とした広範囲な実験を行い,ロングテール認識,コンポジションゼロショット学習,ドメイン一般化,コントラスト学習などのタスクを伴わずに,異なるデータ不足アプリケーションに対して大幅な改善を実現する。
コードは \url{https://github.com/zhihou7/BatchFormer} で公開される。
関連論文リスト
- Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。
1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。
提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
論文 参考訳（メタデータ） (2024-02-02T09:33:07Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Negotiated Representations for Machine Mearning Application [0.0]
オーバーフィッティング(Overfitting)は、機械学習モデルが長時間トレーニングされ、提供されたトレーニングラベルに対するトレーニングサンプルの正確な適合度に過度にフォーカスされた場合に発生する現象である。
本稿では,事前に決定されたクラスラベルを用いて,サンプルの出力表現を交渉可能にすることによって,機械学習モデルの分類精度を高める手法を提案する。
論文 参考訳（メタデータ） (2023-11-19T19:53:49Z) - Provable Advantage of Curriculum Learning on Parity Targets with Mixed
Inputs [21.528321119061694]
共通サンプル分布における標準(有界)学習率のトレーニングステップ数の分離結果を示す。
また,理論結果の具体的構造を超えた定性的分離を支持する実験結果も提供する。
論文 参考訳（メタデータ） (2023-06-29T13:14:42Z) - Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
論文 参考訳（メタデータ） (2022-06-27T15:46:05Z) - Learning to Imagine: Diversify Memory for Incremental Learning using
Unlabeled Data [69.30452751012568]
本研究では,多様な特徴を適応的に生成することで,経験を多様化する学習可能な特徴生成装置を開発する。
生成したサンプルを前例とセマンティックに整合させるために,意味的コントラスト学習を導入する。
提案手法は, 余分な推論コストを伴わず, 2つのベンチマークで最先端の手法より優れている。
論文 参考訳（メタデータ） (2022-04-19T15:15:18Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。
マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
論文 参考訳（メタデータ） (2021-05-08T21:24:09Z) - Learning Intra-Batch Connections for Deep Metric Learning [3.5665681694253903]
メートル法学習は、類似のサンプルが異種よりも近い低次元空間にサンプルをマッピングする関数を学習することを目的としている。
ほとんどのアプローチは、サンプルのペアまたはトリプレット間の関係のみを考慮した損失に依存する。
ミニバッチにおけるすべての関係を考慮に入れたメッセージパッシングネットワークに基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-02-15T18:50:00Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。