論文の概要: Learning Rich Nearest Neighbor Representations from Self-supervised
Ensembles
- arxiv url: http://arxiv.org/abs/2110.10293v1
- Date: Tue, 19 Oct 2021 22:24:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 16:36:44.863279
- Title: Learning Rich Nearest Neighbor Representations from Self-supervised
Ensembles
- Title(参考訳): 自己教師付きアンサンブルから富裕な隣接表現を学ぶ
- Authors: Bram Wallace, Devansh Arpit, Huan Wang, Caiming Xiong
- Abstract要約: 推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。
この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
- 参考スコア(独自算出の注目度): 60.97922557957857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretraining convolutional neural networks via self-supervision, and applying
them in transfer learning, is an incredibly fast-growing field that is rapidly
and iteratively improving performance across practically all image domains.
Meanwhile, model ensembling is one of the most universally applicable
techniques in supervised learning literature and practice, offering a simple
solution to reliably improve performance. But how to optimally combine
self-supervised models to maximize representation quality has largely remained
unaddressed. In this work, we provide a framework to perform self-supervised
model ensembling via a novel method of learning representations directly
through gradient descent at inference time. This technique improves
representation quality, as measured by k-nearest neighbors, both on the
in-domain dataset and in the transfer setting, with models transferable from
the former setting to the latter. Additionally, this direct learning of feature
through backpropagation improves representations from even a single model,
echoing the improvements found in self-distillation.
- Abstract(参考訳): 自己超越による畳み込みニューラルネットワークの事前トレーニングと、それらをトランスファーラーニングに適用することは、事実上すべての画像ドメインのパフォーマンスを迅速かつ反復的に向上させる、信じられないほど急速に成長する分野である。
一方、model ensemblingは、教師付き学習文献と実践において最も広く適用可能なテクニックの1つであり、パフォーマンスを確実に改善するための簡単なソリューションを提供する。
しかし、自己教師付きモデルを最適に組み合わせて表現品質を最大化する方法は、ほとんど未適応のままである。
本研究では,推論時間における勾配降下から直接表現を学習する新しい手法により,自己教師型モデルアンサンブルを行うためのフレームワークを提供する。
このテクニックは、ドメイン内データセットと転送設定の両方において、k-nearestの隣人が測定した表現品質を改善し、前者設定から後者にモデルを転送可能にする。
さらに、バックプロパゲーションによるこの機能の直接的な学習は、単一のモデルからでも表現を改善する。
関連論文リスト
- Efficiently Robustify Pre-trained Models [18.392732966487582]
大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。
まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。
続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
論文 参考訳(メタデータ) (2023-09-14T08:07:49Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳(メタデータ) (2023-02-01T17:32:16Z) - Iterative autoregression: a novel trick to improve your low-latency
speech enhancement model [2.2999148299770047]
ストリーミングモデルは、リアルタイム音声強調ツールの重要なコンポーネントである。
本稿では,自己回帰型低遅延音声強調モデルの訓練方法を提案する。
論文 参考訳(メタデータ) (2022-11-03T12:32:33Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳(メタデータ) (2022-07-08T10:25:47Z) - Mean Embeddings with Test-Time Data Augmentation for Ensembling of
Representations [8.336315962271396]
表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。
MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。
我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
論文 参考訳(メタデータ) (2021-06-15T10:49:46Z) - Learning by Distillation: A Self-Supervised Learning Framework for
Optical Flow Estimation [71.76008290101214]
DistillFlowは光の流れを学ぶための知識蒸留手法である。
KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。
我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
論文 参考訳(メタデータ) (2021-06-08T09:13:34Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳(メタデータ) (2021-06-07T11:13:05Z) - Guiding Attention for Self-Supervised Learning with Transformers [24.785500242464646]
双方向変換器を用いた効率的な自己教師型学習を実現する手法を提案する。
我々のアプローチは、訓練されたモデルにおける自己注意パターンが非言語的規則性の大部分を含んでいることを示す最近の研究によって動機付けられている。
論文 参考訳(メタデータ) (2020-10-06T00:04:08Z) - Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。
近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。
本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-31T03:48:41Z) - Two-Level Adversarial Visual-Semantic Coupling for Generalized Zero-shot
Learning [21.89909688056478]
トレーニング中に推論ネットワークを用いて生成ネットワークを増強する2段階のジョイントアイデアを提案する。
これにより、ビジュアルドメインとセマンティックドメイン間の効果的な知識伝達のための強力な相互モーダル相互作用が提供される。
提案手法は,4つのベンチマークデータセットに対して,いくつかの最先端手法に対して評価し,その性能を示す。
論文 参考訳(メタデータ) (2020-07-15T15:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。