論文の概要: Evolving Losses for Unsupervised Video Representation Learning

• arxiv url: http://arxiv.org/abs/2002.12177v1
• Date: Wed, 26 Feb 2020 16:56:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 14:34:40.914096
• Title: Evolving Losses for Unsupervised Video Representation Learning
• Title（参考訳）: 教師なしビデオ表現学習における損失の展開
• Authors: AJ Piergiovanni, Anelia Angelova, Michael S. Ryoo
• Abstract要約: 大規模未ラベル映像データから映像表現を学習する新しい手法を提案する。 提案した教師なし表現学習では,単一のRGBネットワークが実現し,従来の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 91.2683362199263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new method to learn video representations from large-scale unlabeled video data. Ideally, this representation will be generic and transferable, directly usable for new tasks such as action recognition and zero or few-shot learning. We formulate unsupervised representation learning as a multi-modal, multi-task learning problem, where the representations are shared across different modalities via distillation. Further, we introduce the concept of loss function evolution by using an evolutionary search algorithm to automatically find optimal combination of loss functions capturing many (self-supervised) tasks and modalities. Thirdly, we propose an unsupervised representation evaluation metric using distribution matching to a large unlabeled dataset as a prior constraint, based on Zipf's law. This unsupervised constraint, which is not guided by any labeling, produces similar results to weakly-supervised, task-specific ones. The proposed unsupervised representation learning results in a single RGB network and outperforms previous methods. Notably, it is also more effective than several label-based methods (e.g., ImageNet), with the exception of large, fully labeled video datasets.
• Abstract（参考訳）: 大規模未ラベル映像データから映像表現を学習する新しい手法を提案する。 理想的には、この表現は汎用的で転送可能であり、アクション認識やゼロショット学習などの新しいタスクで直接使用できる。 教師なし表現学習をマルチモーダル・マルチタスク学習問題として定式化し,その表現は蒸留によって異なるモダリティ間で共有される。 さらに,多くの(自己教師あり)タスクやモダリティを捕捉する損失関数の最適組み合わせを,進化的探索アルゴリズムを用いて自動的に見つけることで,損失関数進化の概念を導入する。 第3に,Zipfの法則に基づく大規模ラベル付きデータセットに対する分布マッチングを用いた教師なし表現評価指標を提案する。 この教師なし制約は、いかなるラベリングにも導かれず、弱い教師付きタスク固有の制約と同様の結果をもたらす。 提案する教師なし表現学習は,単一のrgbネットワークで実現され,従来の手法を上回っている。 特に、大きなラベル付きビデオデータセットを除いて、いくつかのラベルベースの方法(例えばimagenet)よりも効果的である。

関連論文リスト

• Weakly Supervised Video Individual CountingWeakly Supervised Video Individual Counting [126.75545291243142]
  Video Individual Countingは、単一のビデオ内のユニークな個人数を予測することを目的としている。 トラジェクトリラベルが提供されない弱い教師付きVICタスクを導入する。 そこで我々は,ネットワークを駆動し,インフロー,アウトフロー,残りを識別するために,エンドツーエンドのトレーニング可能なソフトコントラスト損失を考案した。
  論文  参考訳（メタデータ） (2023-12-10T16:12:13Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• On minimal variations for unsupervised representation learning [19.055611167696238]
  教師なし表現学習は、様々な下流タスクを解決するために、生データを効率的に記述することを目的としている。 教師なし表現学習の原則として最小限のバリエーションを考案することは、自己教師付き学習アルゴリズムの実践的ガイドラインを改善する道を開く。
  論文  参考訳（メタデータ） (2022-11-07T18:57:20Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Low-rank Dictionary Learning for Unsupervised Feature Selection [11.634317251468968]
  低ランク表現に辞書学習のアイデアを適用することで、教師なしの新たな特徴選択手法を導入する。 非教師付き特徴選択のための統一目的関数は、$ell_2,1$-norm正規化によってスパースな方法で提案される。 実験の結果,提案手法は最先端のアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-06-21T13:39:10Z)
• Large-Scale Unsupervised Person Re-Identification with Contrastive Learning [17.04597303816259]
  ほとんどの既存の非監視およびドメイン適応ReIDメソッドは、実験で公開データセットのみを使用します。 コントラスト学習による大規模自己監視画像分類の最近の進歩に触発され, 大規模非ラベル監視映像だけでReID表現を学習することを提案する。
  論文  参考訳（メタデータ） (2021-05-17T14:55:08Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。