論文の概要: Mean Embeddings with Test-Time Data Augmentation for Ensembling of Representations

• arxiv url: http://arxiv.org/abs/2106.08038v1
• Date: Tue, 15 Jun 2021 10:49:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 22:25:22.996046
• Title: Mean Embeddings with Test-Time Data Augmentation for Ensembling of Representations
• Title（参考訳）: 表現の組み立てのためのテスト時間データ拡張による平均埋め込み
• Authors: Arsenii Ashukha, Andrei Atanov, Dmitry Vetrov
• Abstract要約: 表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。 MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。 我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
• 参考スコア（独自算出の注目度）: 8.336315962271396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Averaging predictions over a set of models -- an ensemble -- is widely used to improve predictive performance and uncertainty estimation of deep learning models. At the same time, many machine learning systems, such as search, matching, and recommendation systems, heavily rely on embeddings. Unfortunately, due to misalignment of features of independently trained models, embeddings, cannot be improved with a naive deep ensemble like approach. In this work, we look at the ensembling of representations and propose mean embeddings with test-time augmentation (MeTTA) simple yet well-performing recipe for ensembling representations. Empirically we demonstrate that MeTTA significantly boosts the quality of linear evaluation on ImageNet for both supervised and self-supervised models. Even more exciting, we draw connections between MeTTA, image retrieval, and transformation invariant models. We believe that spreading the success of ensembles to inference higher-quality representations is the important step that will open many new applications of ensembling.
• Abstract（参考訳）: 一連のモデル(アンサンブル)上の平均予測は、ディープラーニングモデルの予測性能と不確実性推定を改善するために広く使われている。 同時に、検索、マッチング、レコメンデーションシステムといった多くの機械学習システムは、埋め込みに大きく依存している。 残念なことに、独立に訓練されたモデルの特徴の不一致のために、埋め込みは、ナイーブな深層アンサンブルアプローチでは改善できない。 本稿では,表現のアンサンブルを考察し,テスト時間拡張(MeTTA)を用いた平均埋め込みを提案する。 MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetにおける線形評価の質を大幅に向上させることを示した。 さらにエキサイティングに、MeTTA、画像検索、変換不変モデル間の接続を描画する。 アンサンブルの成功を高い品質の表現の推論に広めることが、多くの新しい応用法を開く重要なステップであると信じています。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Multi-View Conformal Learning for Heterogeneous Sensor Fusion [0.12086712057375555]
  異種センサ融合のためのマルチビュー・シングルビューコンフォメーションモデルの構築と試験を行った。 我々のモデルは、共形予測フレームワークに基づいているため、理論的な限界信頼保証を提供する。 また,複数ビューモデルが単一ビューモデルに比べて不確実性の低い予測セットを生成することを示した。
  論文  参考訳（メタデータ） (2024-02-19T17:30:09Z)
• Instance-Conditioned GAN Data Augmentation for Representation Learning [29.36473147430433]
  DA_IC-GANは、学習可能なデータ拡張モジュールで、ほとんどの最先端のトレーニングレシピと組み合わせて、棚外で使用することができる。 DA_IC-GAN は最大容量モデルで 1%p から 2%p の精度を向上できることを示す。 また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上が達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-16T22:45:43Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)
• Revisiting Weakly Supervised Pre-Training of Visual Perception Models [27.95816470075203]
  大規模で弱い教師付き事前訓練は、完全に教師付きアプローチよりも優れている。 本稿では,ハッシュタグによるモデル事前学習の弱さを再考する。 本研究は,視覚認識システム開発における弱教師付き学習の活用について,説得力のある議論を提起する。
  論文  参考訳（メタデータ） (2022-01-20T18:55:06Z)
• Learning Rich Nearest Neighbor Representations from Self-supervised Ensembles [60.97922557957857]
  推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。 この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
  論文  参考訳（メタデータ） (2021-10-19T22:24:57Z)
• Rethinking Self-Supervision Objectives for Generalizable Coherence Modeling [8.329870357145927]
  機械生成テキストのコヒーレンス評価は、検討すべきコヒーレンスモデルの主要な応用の1つである。 タスク全体にわたってうまく一般化するモデルをもたらす訓練データと自己超越目標について検討する。 本研究では, 負サンプルの密度の増加が基本モデルを改善することを実証的に示し, 大域的負のキューを用いることで, 強負のサンプルを訓練しながらモデルをさらに改善・安定化する。
  論文  参考訳（メタデータ） (2021-10-14T07:44:14Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Self-supervised Pre-training with Hard Examples Improves Visual Representations [110.23337264762512]
  自己教師付き事前学習(ssp)は、ランダムな画像変換を用いて視覚表現学習のためのトレーニングデータを生成する。 まず,既存のSSPメソッドを擬似ラベル予測学習として統合するモデリングフレームワークを提案する。 そこで本研究では,疑似ラベルの予測が難しい学習例をランダムな画像変換で生成するデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2020-12-25T02:44:22Z)
• Improving Unsupervised Image Clustering With Robust Learning [21.164537402069712]
  監督されていない画像クラスタリングメソッドは、しばしば間接的にモデルを訓練するための代替目標を導入し、誤った予測と過剰な結果の影響を受けます。 本研究は,ロバスト学習に触発された革新的なモデル ruc を提案する。 実験結果から,提案モデルではキャリブレーションの精度が向上し,対向雑音に対するさらなる頑健性が得られることがわかった。
  論文  参考訳（メタデータ） (2020-12-21T07:02:11Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。