論文の概要: Augment, Drop & Swap: Improving Diversity in LLM Captions for Efficient Music-Text Representation Learning

• arxiv url: http://arxiv.org/abs/2409.11498v1
• Date: Tue, 17 Sep 2024 19:00:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 20:09:46.006893
• Title: Augment, Drop & Swap: Improving Diversity in LLM Captions for Efficient Music-Text Representation Learning
• Title（参考訳）: Augment, Drop and Swap: 効率的な音楽テキスト表現学習のためのLCMキャプションの多様性向上
• Authors: Ilaria Manco, Justin Salamon, Oriol Nieto,
• Abstract要約: 本研究では,鍵となる設計選択が音声-テキストコントラストモデルを用いて学習した音楽-テキスト表現の品質に与える影響について検討する。 データキュレーションは、リソース制約のあるシナリオにおいて、音楽テキストのコントラストトレーニングにおいて最も重要な要素である。 トレーニングで見られるテキスト入力の多様性と記述性を向上する,Augmented View Dropout と TextSwap という2つの新しい手法を導入する。
• 参考スコア（独自算出の注目度）: 10.15720975293898
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Audio-text contrastive models have become a powerful approach in music representation learning. Despite their empirical success, however, little is known about the influence of key design choices on the quality of music-text representations learnt through this framework. In this work, we expose these design choices within the constraints of limited data and computation budgets, and establish a more solid understanding of their impact grounded in empirical observations along three axes: the choice of base encoders, the level of curation in training data, and the use of text augmentation. We find that data curation is the single most important factor for music-text contrastive training in resource-constrained scenarios. Motivated by this insight, we introduce two novel techniques, Augmented View Dropout and TextSwap, which increase the diversity and descriptiveness of text inputs seen in training. Through our experiments we demonstrate that these are effective at boosting performance across different pre-training regimes, model architectures, and downstream data distributions, without incurring higher computational costs or requiring additional training data.
• Abstract（参考訳）: 音声テキストのコントラストモデルは、音楽表現学習において強力なアプローチとなっている。 しかし、その経験的成功にもかかわらず、この枠組みを通じて学んだ音楽文表現の質に対する重要な設計選択の影響についてはほとんど分かっていない。 本研究では、これらの設計選択を、限られたデータと計算予算の制約の中で公開し、ベースエンコーダの選択、トレーニングデータにおけるキュレーションのレベル、およびテキスト拡張の使用という、3つの軸に沿った経験的観察に基づく影響のより確かな理解を確立する。 データキュレーションは、リソース制約のあるシナリオにおいて、音楽文のコントラストトレーニングにおいて最も重要な要素であることがわかった。 この知見に触発されて、トレーニングで見られるテキスト入力の多様性と記述性を向上するAugmented View DropoutとTextSwapという2つの新しいテクニックを紹介した。 実験を通じて、これらは、より高い計算コストや追加のトレーニングデータを必要とすることなく、様々な事前学習体制、モデルアーキテクチャ、下流データ分散のパフォーマンス向上に有効であることを示した。

関連論文リスト

• NEVLP: Noise-Robust Framework for Efficient Vision-Language Pre-training [6.34265125858783]
  本稿では,事前学習の少ない視覚言語事前学習のためのノイズロバストフレームワークを提案する。 具体的には、凍結した画像エンコーダと大きな言語モデルとのモダリティギャップを変換器でブリッジする。 ノイズ適応学習と概念強化学習の2つの革新的な学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-09-15T01:54:17Z)
• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• CLAP: Isolating Content from Style through Contrastive Learning with Augmented Prompts [11.752632557524969]
  コンテンツの特徴を元の表現から切り離すために,データ拡張によるコントラスト学習を提案する。 多様なデータセットを対象とした実験では、ゼロショットと少数ショットの分類タスクが大幅に改善された。
  論文  参考訳（メタデータ） (2023-11-28T03:00:59Z)
• Text-Only Training for Visual Storytelling [107.19873669536523]
  視覚条件付きストーリー生成問題として視覚的ストーリーテリングを定式化する。 本稿では,モダリティ間のアライメントとストーリー生成の学習を分離するテキストのみのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T09:32:17Z)
• Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
  VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。 本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
  論文  参考訳（メタデータ） (2023-03-03T18:59:47Z)
• Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music Generation Task [86.72661027591394]
  テキスト記述から完全で意味論的に一貫したシンボリック音楽の楽譜を生成する。 テキスト・音楽生成タスクにおける自然言語処理のための公開チェックポイントの有効性について検討する。 実験結果から, BLEUスコアと編集距離の類似性において, 事前学習によるチェックポイントの使用による改善が統計的に有意であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-21T07:19:17Z)
• Speech-text based multi-modal training with bidirectional attention for improved speech recognition [26.47071418582507]
  ASRエンコーダ(ボット層)とテキストエンコーダ(テキストエンコーダ)をマルチモーダル学習法で共同学習するために,新しい双方向アテンション機構(BiAM)を提案する。 BiAMは特徴サンプリングレートの交換を促進することを目的としており、別の空間で測定すべきものに対する変換された特徴の品質を実現する。 Librispeech corpusの実験結果から、ペアデータ学習のみで最大6.15%のワードエラー率削減(WERR)を達成でき、また、より不適切なテキストデータを使用すると9.23%のWERRを実現することができる。
  論文  参考訳（メタデータ） (2022-11-01T08:25:11Z)
• Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations [7.817685358710508]
  本稿では,録音やテキストによる記述を共有音声空間に投影するシステムを提案する。 以上の結果から, 使用済み拡張戦略は過剰適合を低減し, 検索性能の向上を図っている。 さらに、AudioCapsデータセットで事前トレーニングを行うことで、さらなる改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-08-24T11:54:42Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• A study on the efficacy of model pre-training in developing neural text-to-speech system [55.947807261757056]
  本研究の目的は,モデル事前学習がTSシステム性能に肯定的に寄与する理由と方法を明らかにすることである。 トレーニング前のデータを元のサイズの1/8に減らすと,TSシステムは同等の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-08T02:09:28Z)
• Joint Visual Semantic Reasoning: Multi-Stage Decoder for Text Recognition [36.12001394921506]
  最先端のSOTA(State-of-the-art)モデルは、複雑な背景、さまざまなフォント、制御されていない照明、歪み、その他のアーチファクトのために、いまだに野生のシナリオで苦労している。 これは、そのようなモデルは、テキスト認識のための視覚情報にのみ依存するため、意味論的推論能力が欠如しているためである。 本稿では,複数段階の多段階の注意デコーダを提案する。
  論文  参考訳（メタデータ） (2021-07-26T10:15:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。