論文の概要: Learning Rich Nearest Neighbor Representations from Self-supervised Ensembles

• arxiv url: http://arxiv.org/abs/2110.10293v1
• Date: Tue, 19 Oct 2021 22:24:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 16:36:44.863279
• Title: Learning Rich Nearest Neighbor Representations from Self-supervised Ensembles
• Title（参考訳）: 自己教師付きアンサンブルから富裕な隣接表現を学ぶ
• Authors: Bram Wallace, Devansh Arpit, Huan Wang, Caiming Xiong
• Abstract要約: 推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。 この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
• 参考スコア（独自算出の注目度）: 60.97922557957857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining convolutional neural networks via self-supervision, and applying them in transfer learning, is an incredibly fast-growing field that is rapidly and iteratively improving performance across practically all image domains. Meanwhile, model ensembling is one of the most universally applicable techniques in supervised learning literature and practice, offering a simple solution to reliably improve performance. But how to optimally combine self-supervised models to maximize representation quality has largely remained unaddressed. In this work, we provide a framework to perform self-supervised model ensembling via a novel method of learning representations directly through gradient descent at inference time. This technique improves representation quality, as measured by k-nearest neighbors, both on the in-domain dataset and in the transfer setting, with models transferable from the former setting to the latter. Additionally, this direct learning of feature through backpropagation improves representations from even a single model, echoing the improvements found in self-distillation.
• Abstract（参考訳）: 自己超越による畳み込みニューラルネットワークの事前トレーニングと、それらをトランスファーラーニングに適用することは、事実上すべての画像ドメインのパフォーマンスを迅速かつ反復的に向上させる、信じられないほど急速に成長する分野である。 一方、model ensemblingは、教師付き学習文献と実践において最も広く適用可能なテクニックの1つであり、パフォーマンスを確実に改善するための簡単なソリューションを提供する。 しかし、自己教師付きモデルを最適に組み合わせて表現品質を最大化する方法は、ほとんど未適応のままである。 本研究では,推論時間における勾配降下から直接表現を学習する新しい手法により,自己教師型モデルアンサンブルを行うためのフレームワークを提供する。 このテクニックは、ドメイン内データセットと転送設定の両方において、k-nearestの隣人が測定した表現品質を改善し、前者設定から後者にモデルを転送可能にする。 さらに、バックプロパゲーションによるこの機能の直接的な学習は、単一のモデルからでも表現を改善する。

関連論文リスト

• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
  対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。 提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-14T15:53:07Z)
• On-the-Fly Guidance Training for Medical Image Registration [14.309599960641242]
  本研究は,既存の学習ベース画像登録モデルを改善するための新しいトレーニングフレームワークであるOn-the-Fly Guidance(OFG)を紹介する。 本手法では,ラベル付きデータを必要としない登録モデルをトレーニングするための教師付き手法を提案する。 提案手法は,複数のベンチマークデータセットおよび先行モデルでテストされ,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-08-29T11:12:53Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Iterative autoregression: a novel trick to improve your low-latency speech enhancement model [2.2999148299770047]
  ストリーミングモデルは、リアルタイム音声強調ツールの重要なコンポーネントである。 本稿では,自己回帰型低遅延音声強調モデルの訓練方法を提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:32:33Z)
• Mean Embeddings with Test-Time Data Augmentation for Ensembling of Representations [8.336315962271396]
  表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。 MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。 我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
  論文  参考訳（メタデータ） (2021-06-15T10:49:46Z)
• Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation [71.76008290101214]
  DistillFlowは光の流れを学ぶための知識蒸留手法である。 KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。 我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-06-08T09:13:34Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
  ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。 近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。 本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-31T03:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。