論文の概要: Automatic Curation of Large-Scale Datasets for Audio-Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2101.10803v1
• Date: Tue, 26 Jan 2021 14:27:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-14 08:28:41.250478
• Title: Automatic Curation of Large-Scale Datasets for Audio-Visual Representation Learning
• Title（参考訳）: 音響画像表現学習のための大規模データセットの自動キュレーション
• Authors: Sangho Lee, Jiwan Chung, Youngjae Yu, Gunhee Kim, Thomas Breuel, Gal Chechik, Yale Song
• Abstract要約: 本稿では,自動データセットキュレーションのためのサブセット最適化手法について述べる。 本研究では,高視聴覚対応の映像を抽出し,自己監視モデルが自動的に構築されているにもかかわらず,既存のスケールのビデオデータセットと類似したダウンストリームパフォーマンスを達成できることを実証した。
• 参考スコア（独自算出の注目度）: 62.47593143542552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale datasets are the cornerstone of self-supervised representation learning. Existing algorithms extract learning signals by making certain assumptions about the data, e.g., spatio-temporal continuity and multimodal correspondence. Unfortunately, finding a large amount of data that satisfies such assumptions is sometimes not straightforward. This restricts the community to rely on datasets that require laborious annotation and/or manual filtering processes. In this paper, we describe a subset optimization approach for automatic dataset curation. Focusing on the scenario of audio-visual representation learning, we pose the problem as finding a subset that maximizes the mutual information between audio and visual channels in videos. We demonstrate that our approach finds videos with high audio-visual correspondence and show that self-supervised models trained on our data, despite being automatically constructed, achieve similar downstream performances to existing video datasets with similar scales. The most significant benefit of our approach is scalability. We release the largest video dataset for audio-visual research collected automatically using our approach.
• Abstract（参考訳）: 大規模データセットは自己監視型表現学習の基礎となる。 既存のアルゴリズムは、時空間連続性やマルチモーダル対応など、データの特定の仮定をすることで学習信号を抽出する。 残念ながら、このような仮定を満たす大量のデータを見つけるのは簡単ではない。 これにより、コミュニティは手間のかかるアノテーションや手動フィルタリングプロセスを必要とするデータセットに頼ることが制限されます。 本稿では,自動データセットキュレーションのためのサブセット最適化手法について述べる。 視聴覚表現学習のシナリオに注目し、映像内の音声と視覚チャネル間の相互情報を最大化するサブセットを見つけることで問題を提起します。 本研究では,高視聴覚対応の映像を抽出し,自己監視モデルが自動的に構築されているにもかかわらず,既存のスケールのビデオデータセットと類似したダウンストリームパフォーマンスを達成できることを実証した。 私たちのアプローチの最も大きなメリットはスケーラビリティです。 我々はこのアプローチで自動収集した音声・視覚研究のための最大のビデオデータセットをリリースする。

関連論文リスト

• Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
  高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。 具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。 我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
  論文  参考訳（メタデータ） (2023-09-20T17:59:32Z)
• Text-to-feature diffusion for audio-visual few-shot learning [59.45164042078649]
  ビデオデータから学ぶことは難しいし、あまり研究されていないが、もっと安いセットアップだ。 3つのデータセットに対して,音声・視覚的数ショット映像分類ベンチマークを導入する。 AV-DIFFは,提案した音声・視覚的少数ショット学習のベンチマークにおいて,最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:30:36Z)
• Mitigating Representation Bias in Action Recognition: Algorithms and Benchmarks [76.35271072704384]
  ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。 この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。 偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:30:35Z)
• iBoot: Image-bootstrapped Self-Supervised Video Representation Learning [45.845595749486215]
  ビデオデータセットは通常、画像データセットほど大きくない。 本稿では,映像表現学習フレームワークにおいて,自己や言語を事前訓練した強力な画像ベースモデルを提案する。 提案アルゴリズムはより少ないエポックと少ないバッチでより効率的に学習できることが示されている。
  論文  参考訳（メタデータ） (2022-06-16T17:42:48Z)
• Audio-visual Generalised Zero-shot Learning with Cross-modal Attention and Language [38.02396786726476]
  マルチモーダル・アテンションを用いて音声・視覚データからマルチモーダル・表現を学習することを提案する。 一般化された音声視覚ゼロショット学習設定では、テスト時間検索空間にすべてのトレーニングクラスを含める。 この領域に統一的なベンチマークがないため、3つのオーディオ視覚データセットに(一般化された)ゼロショット学習ベンチマークを導入する。
  論文  参考訳（メタデータ） (2022-03-07T18:52:13Z)
• Video Summarization Based on Video-text Modelling [0.0]
  ビデオのセマンティック表現を得るために,マルチモーダルな自己教師型学習フレームワークを提案する。 また,より優れた要約を生成するために,動画内の重要なコンテンツを段階的にピンポイントするプログレッシブな映像要約手法も導入する。 映像分類に基づく映像要約の質を客観的に評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-07T15:21:46Z)
• NoisyActions2M: A Multimedia Dataset for Video Understanding from Noisy Labels [33.659146748289444]
  約200万のビデオと関連するユーザ生成アノテーションやその他のメタ情報からなるベンチマークデータセットを作成します。 提案したデータセット上で事前トレーニングされたネットワークは、下流データセットにおけるビデオの破損やラベルノイズに対してどのように役立つかを示す。
  論文  参考訳（メタデータ） (2021-10-13T16:12:18Z)
• Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
  遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。 ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。 提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-02T07:50:50Z)
• Spoken Moments: Learning Joint Audio-Visual Representations from Video Descriptions [75.77044856100349]
  我々は、異なるイベントの広い範囲を描写するユニークな短いビデオに起因する500k話されたキャプションのSpoken Momentsデータセットを提示します。 AMMアプローチは一貫して結果を改善し、Spoken Momentsデータセットで訓練されたモデルは、他のビデオキャプションデータセットで訓練されたモデルよりも汎用性が高いことを示しています。
  論文  参考訳（メタデータ） (2021-05-10T16:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。