論文の概要: EfficientCLIP: Efficient Cross-Modal Pre-training by Ensemble Confident Learning and Language Modeling

• arxiv url: http://arxiv.org/abs/2109.04699v1
• Date: Fri, 10 Sep 2021 07:09:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:46:37.982620
• Title: EfficientCLIP: Efficient Cross-Modal Pre-training by Ensemble Confident Learning and Language Modeling
• Title（参考訳）: EfficientCLIP: 信頼学習と言語モデリングを融合した効率的なクロスモーダル事前学習
• Authors: Jue Wang, Haofan Wang, Jincan Deng, Weijia Wu and Debing Zhang
• Abstract要約: 本稿では,よりノイズの少ないデータサブセットを得るために,Ensemble Confident Learningを用いた効率的なCLIP手法を提案する。 テキストブランチの一般化を促進するために、余分に豊富な非ペアの単一モーダルテキストデータを使用する。 CLIP や WenLan と比較して,CLIP や WnLan と比較して1/10 のトレーニングリソースしか持たない,中国のクロスモーダル検索タスクにおける最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 8.300310563598654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large scale pre-training has achieved great achievements in bridging the gap between vision and language, it still faces several challenges. First, the cost for pre-training is expensive. Second, there is no efficient way to handle the data noise which degrades model performance. Third, previous methods only leverage limited image-text paired data, while ignoring richer single-modal data, which may result in poor generalization to single-modal downstream tasks. In this work, we propose an EfficientCLIP method via Ensemble Confident Learning to obtain a less noisy data subset. Extra rich non-paired single-modal text data is used for boosting the generalization of text branch. We achieve the state-of-the-art performance on Chinese cross-modal retrieval tasks with only 1/10 training resources compared to CLIP and WenLan, while showing excellent generalization to single-modal tasks, including text retrieval and text classification.
• Abstract（参考訳）: 大規模事前学習はビジョンと言語の間のギャップを埋める上で大きな成果を上げてきたが、それでもいくつかの課題に直面している。 第一に、事前訓練のコストは高価である。 第二に、モデル性能を劣化させるデータノイズを効率的に処理する方法はない。 第3に、従来の手法では、よりリッチな単一モーダルデータを無視しながら、限られた画像テキストペアデータしか利用できなかった。 本研究では,よりノイズの少ないデータサブセットを得るために,Ensemble Confident Learningを用いた効率的なCLIP手法を提案する。 テキストブランチの一般化を促進するために、余分なリッチな非ペアのシングルモーダルテキストデータを使用する。 CLIP や WenLan と比較して1/10 のトレーニングリソースしか持たない中国のクロスモーダル検索タスクの最先端性能を実現し,テキスト検索やテキスト分類などの単一モーダルタスクへの優れた一般化を示した。

関連論文リスト

• CLEFT: Language-Image Contrastive Learning with Efficient Large Language Model and Prompt Fine-Tuning [4.004641316826348]
  効率的な大言語モデルとファインチューニング(CLEFT)を併用した新しい言語画像コントラスト学習手法を提案する。 複数の胸部X線およびマンモグラフィーデータセットの最先端性能を示す。 提案手法は,既存のBERTエンコーダと比較して,トレーニング可能なモデル全体のサイズを39%削減し,トレーニング可能な言語モデルを4%に削減する。
  論文  参考訳（メタデータ） (2024-07-30T17:57:32Z)
• Bucket Pre-training is All You Need [9.332544709626875]
  大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて例外的な性能を示した。 文書の連結と分割を伴う事前学習のための従来の固定長データ合成戦略は、ノイズを導入し、長距離依存関係をキャプチャするモデルの能力を制限できる。 固定長のパラダイムを超えて,より柔軟で効率的な事前学習手法を提供するマルチポケットデータ合成手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:27:23Z)
• Efficient and Long-Tailed Generalization for Pre-trained Vision-Language Model [43.738677778740325]
  そこで本研究では,Candleと呼ばれる,効率的かつ長期にわたる一般化を実現するための新しいフレームワークを提案する。 Candleは11の多様なデータセットに関する広範な実験を通じて、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-18T14:07:13Z)
• Vision Model Pre-training on Interleaved Image-Text Data via Latent Compression Learning [78.19528555505961]
  本稿では,LCL(Latent Compression Learning)と呼ばれる視覚モデル事前学習手法を提案する。 学習対象は,1)視覚表現と先行文脈の対比学習,2)視覚表現に基づく後続テキストの生成という2つの基本課題に分解することができる。 実験により,本手法は,ペア付き事前学習データセット上でのCLIPの性能に適合するだけでなく,インターリーブ付き事前学習データの活用も可能であることが示された。
  論文  参考訳（メタデータ） (2024-06-11T17:59:35Z)
• UniBoost: Unsupervised Unimodal Pre-training for Boosting Zero-shot Vision-Language Tasks [60.46473247205654]
  大規模で教師なしのユニモーダルモデルを事前学習として使用することにより、画像テキストペアモデルのゼロショット性能を向上させることができる。 実験の結果,単調な事前学習は最先端のCLIPモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-06-07T18:26:22Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• ST-BERT: Cross-modal Language Model Pre-training For End-to-end Spoken Language Understanding [23.367329217151084]
  エンドツーエンドの音声言語理解タスクに対処するために,Speech-Text BERT (ST-BERT) と呼ばれる,モーダルな事前学習言語モデルを導入する。 ST-BERTは、音素の後方テキストとサブワードレベルのテキストを入力として、文脈化されたクロスモーダルアライメントを学習する。 提案手法は,ドメイン固有音声テキストペアデータを用いたドメイン適応型事前学習により,さらなるSLU性能向上を示す。
  論文  参考訳（メタデータ） (2020-10-23T10:28:20Z)
• MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
  大規模事前学習は計算コストが高い。 事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。 本稿では,MC-BERTというメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T09:22:19Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。