論文の概要: NLLB-CLIP -- train performant multilingual image retrieval model on a budget

• arxiv url: http://arxiv.org/abs/2309.01859v3
• Date: Wed, 1 Nov 2023 18:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 16:58:18.559851
• Title: NLLB-CLIP -- train performant multilingual image retrieval model on a budget
• Title（参考訳）: NLLB-CLIP -- 予算に基づく列車動作多言語画像検索モデル
• Authors: Alexander Visheratin
• Abstract要約: NLLBモデルからテキストエンコーダを用いたNLLB-CLIP-CLIPモデルを提案する。 201言語でキャプションを持つ106,246の良質な画像のデータセットを自動生成しました。 我々は,NLLB-CLIPが最先端モデルに匹敵する品質であり,低リソース言語ではかなり優れていることを示す。
• 参考スコア（独自算出の注目度）: 65.268245109828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Today, the exponential rise of large models developed by academic and industrial institutions with the help of massive computing resources raises the question of whether someone without access to such resources can make a valuable scientific contribution. To explore this, we tried to solve the challenging task of multilingual image retrieval having a limited budget of $1,000. As a result, we present NLLB-CLIP - CLIP model with a text encoder from the NLLB model. To train the model, we used an automatically created dataset of 106,246 good-quality images with captions in 201 languages derived from the LAION COCO dataset. We trained multiple models using image and text encoders of various sizes and kept different parts of the model frozen during the training. We thoroughly analyzed the trained models using existing evaluation datasets and newly created XTD200 and Flickr30k-200 datasets. We show that NLLB-CLIP is comparable in quality to state-of-the-art models and significantly outperforms them on low-resource languages.
• Abstract（参考訳）: 今日では、大規模コンピューティング資源の助けを借りて、学術機関や産業機関によって開発された大規模モデルの指数関数的増加は、そのような資源にアクセスできない人が貴重な科学的貢献を得られるかどうかという疑問を提起している。 そこで我々は,1000ドルの限られた予算を持つ多言語画像検索の課題を解決することを試みた。 その結果,NLLBモデルからテキストエンコーダを用いたNLLB-CLIP-CLIPモデルを提案する。 このモデルをトレーニングするために、LAION COCOデータセットから派生した201言語でキャプション付き106,246の良質な画像の自動生成データセットを使用した。 様々なサイズの画像とテキストエンコーダを用いて複数のモデルを訓練し、トレーニング中にモデルの異なる部分を凍結させた。 既存の評価データセットと、新たに作成されたxtd200とflickr30k-200データセットを用いて、トレーニングモデルを徹底的に分析した。 我々は,NLLB-CLIPが最先端モデルに匹敵する品質であり,低リソース言語ではかなり優れていることを示す。

関連論文リスト

• EvolveDirector: Approaching Advanced Text-to-Image Generation with Large Vision-Language Models [36.576853882830896]
  我々はEvolveDirectorを導入し、公開リソースを使用した高度なモデルに匹敵するテキスト・画像生成モデルをトレーニングする。 このフレームワークは、公開APIを通じて高度なモデルと対話して、ベースモデルをトレーニングするためのテキストイメージデータペアを取得する。 我々は,事前学習された大規模視覚言語モデル(VLM)を活用し,基礎モデルの進化を導く。
  論文  参考訳（メタデータ） (2024-10-09T17:52:28Z)
• LowCLIP: Adapting the CLIP Model Architecture for Low-Resource Languages in Multimodal Image Retrieval Task [0.0]
  本研究では,低リソース言語,特にアゼルバイジャン語における画像検索のための視覚言語モデルの開発について検討する。 計算効率と性能のバランスをとるために,CLIPモデルアーキテクチャを統合した。 私たちの研究では、EfficientNet0やTiny Swin Transformerといったモデルが、トレーニングしたデータセット上で最高のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-08-25T18:10:16Z)
• Yi: Open Foundation Models by 01.AI [42.94680878285869]
  Yiモデルファミリは、6Bおよび34B事前訓練言語モデルに基づいており、チャットモデル、200K長コンテキストモデル、深度アップスケールモデル、ビジョン言語モデルに拡張する。 私たちのベースモデルは、MMLUのような幅広いベンチマークで強力なパフォーマンスを実現し、優れたチャットモデルは、AlpacaEvalやArenaといった主要な評価プラットフォーム上で、強い人間の嗜好率を提供します。
  論文  参考訳（メタデータ） (2024-03-07T16:52:49Z)
• Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants [65.47222691674074]
  Muffinフレームワークは、事前訓練された視覚言語モデルを使用して視覚信号のプロバイダとして機能する。 UniMM-Chatデータセットはデータセットの相補性を探求し、高品質で多様なマルチモーダル命令を生成する。
  論文  参考訳（メタデータ） (2023-10-01T12:35:18Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• DINOv2: Learning Robust Visual Features without Supervision [75.42921276202522]
  この研究は、既存の事前学習手法、特に自己教師付き手法が、多様なソースから十分なキュレートされたデータで訓練すれば、そのような特徴を生み出すことができることを示している。 技術的な貢献の多くは、大規模なトレーニングを加速し、安定化することを目的としています。 データの観点からは、自己組織化されていないデータではなく、専用で多様でキュレートされた画像データセットを構築するための自動パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-04-14T15:12:19Z)
• Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese [55.95225353842118]
  我々は中国語で画像とテキストのペアの大規模なデータセットを構築し、ほとんどのデータは公開データセットから取得する。 77～958万のパラメータにまたがる,複数サイズの中国製CLIPモデルを5種類開発している。 実験の結果,中国のCLIPはMUGE,Flickr30K-CN,COCO-CNの最先端性能を達成できた。
  論文  参考訳（メタデータ） (2022-11-02T17:47:23Z)
• LAION-5B: An open large-scale dataset for training next generation image-text models [16.129935376579326]
  我々は585億のCLIPフィルタリング画像テキストペアからなるデータセットであるLAION-5Bを紹介し、そのうち2.32Bは英語を含む。 このデータセットを用いて,CLIP,GLIDE,Stable Diffusionといった基礎モデルのレプリケーションと微調整に成功した。 また、近接するいくつかのインデックス、データセット探索のためのWebインターフェースの改善、サブセット生成も提供しています。
  論文  参考訳（メタデータ） (2022-10-16T00:08:18Z)
• Multimodal Knowledge Alignment with Reinforcement Learning [103.68816413817372]
  ESPERは言語のみのゼロショットモデルを拡張して、画像や音声のキャプションといったマルチモーダルタスクを未確認にする。 我々の重要な新規性は、強化学習を使用することで、直接監督することなく、多モーダル入力を言語モデル世代に整列させることである。 実験の結果、ESPERはベースラインと様々なゼロショットタスクの事前作業より優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-25T10:12:17Z)
• KNN-Diffusion: Image Generation via Large-Scale Retrieval [40.6656651653888]
  適応する学習は、いくつかの新しい機能を可能にします。 微調整の訓練されたモデルと新しいサンプルは、単にテーブルに追加するだけで実現できる。 我々の拡散モデルでは、共同のテキスト・イメージ・マルチモーダル・メトリックを利用することで、画像のみを訓練する。
  論文  参考訳（メタデータ） (2022-04-06T14:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。