論文の概要: Contrasting Contrastive Self-Supervised Representation Learning Models

• arxiv url: http://arxiv.org/abs/2103.14005v1
• Date: Thu, 25 Mar 2021 17:40:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:48:41.977916
• Title: Contrasting Contrastive Self-Supervised Representation Learning Models
• Title（参考訳）: 対照的な自己監督型表現学習モデル
• Authors: Klemen Kotar, Gabriel Ilharco, Ludwig Schmidt, Kiana Ehsani, Roozbeh Mottaghi
• Abstract要約: 我々は,自己教師付き表現学習の最も成功し,人気のある変種の一つであるコントラスト的アプローチを分析した。 エンコーダ30台,プリトレーニングデータセット4台,ダウンストリームタスク20台を含む,700以上のトレーニング実験を行った。
• 参考スコア（独自算出の注目度）: 29.1857781719894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the past few years, we have witnessed remarkable breakthroughs in self-supervised representation learning. Despite the success and adoption of representations learned through this paradigm, much is yet to be understood about how different training methods and datasets influence performance on downstream tasks. In this paper, we analyze contrastive approaches as one of the most successful and popular variants of self-supervised representation learning. We perform this analysis from the perspective of the training algorithms, pre-training datasets and end tasks. We examine over 700 training experiments including 30 encoders, 4 pre-training datasets and 20 diverse downstream tasks. Our experiments address various questions regarding the performance of self-supervised models compared to their supervised counterparts, current benchmarks used for evaluation, and the effect of the pre-training data on end task performance. We hope the insights and empirical evidence provided by this work will help future research in learning better visual representations.
• Abstract（参考訳）: ここ数年,自己指導型表現学習の目覚ましいブレークスルーを目の当たりにしてきた。 このパラダイムを通じて学んだ表現の成功と採用にもかかわらず、異なるトレーニング方法とデータセットが下流タスクのパフォーマンスにどのように影響するかについては、まだ分かっていない。 本稿では,自己指導型表現学習の最も成功し,普及している変種の一つであるコントラッシブアプローチを分析する。 我々は、トレーニングアルゴリズム、データセットの事前トレーニング、およびエンドタスクの観点から、この分析を行う。 エンコーダ30台,プリトレーニングデータセット4台,ダウンストリームタスク20台を含む,700以上のトレーニング実験を行った。 実験では,自己教師付きモデルの性能について,教師付きモデルとの比較,評価に用いる現在のベンチマーク,最終タスク性能に対する事前学習データの影響について,様々な疑問を呈する。 この研究によって得られた洞察と実証的な証拠が、将来の視覚的表現の学習に役立つことを期待している。

関連論文リスト

• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective [68.20531518525273]
  我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。 我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。 我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
  論文  参考訳（メタデータ） (2024-01-16T21:13:22Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• A Large-Scale Analysis on Self-Supervised Video Representation Learning [15.205738030787673]
  本研究では,1)データセットのサイズ,2)複雑性,3)データ分布,4)データノイズ,5)機能解析の5つの側面について検討する。 この研究から得られた興味深い洞察は、事前学習とターゲットデータセット、プレテキストタスク、モデルアーキテクチャの様々な特性にまたがる。 本稿では,限られたトレーニングデータを必要とするアプローチを提案し,従来の10倍の事前学習データを用いた最先端のアプローチより優れた手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T16:27:14Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Self-Supervised Visual Representation Learning Using Lightweight Architectures [0.0]
  自己教師付き学習では、マシンによってアノテーションが生成されるデータセットを使用して、プレテキストタスクを解決するためにモデルが訓練される。 我々は、画像データから特徴を抽出する最も顕著な前文タスクを批判的に検討する。 我々は、他の全てのパラメータを均一に保ちながら、様々な自己監督技術の性能について研究する。
  論文  参考訳（メタデータ） (2021-10-21T14:13:10Z)
• Stochastic Action Prediction for Imitation Learning [1.6385815610837169]
  模倣学習は、観察を行動にマップするポリシーを学ぶために専門家のデモンストレーションに依存するスキルを獲得するためのデータ駆動のアプローチです。 遠隔操作車によるライン追従を含むタスクのために収集されたデモに本質性を示す。 専門家データにおける相反性の説明は,タスク完了の成功率を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2020-12-26T08:02:33Z)
• Self-supervised Co-training for Video Representation Learning [103.69904379356413]
  実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。 本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。 本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
  論文  参考訳（メタデータ） (2020-10-19T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。