論文の概要: Leveraging Image-Text Similarity and Caption Modification for the DataComp Challenge: Filtering Track and BYOD Track

• arxiv url: http://arxiv.org/abs/2310.14581v1
• Date: Mon, 23 Oct 2023 05:40:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 22:19:32.258880
• Title: Leveraging Image-Text Similarity and Caption Modification for the DataComp Challenge: Filtering Track and BYOD Track
• Title（参考訳）: DataCompチャレンジにおける画像-テキスト類似性とキャプション修正の活用:フィルタリングトラックとBYODトラック
• Authors: Shuhei Yokoo, Peifei Zhu, Yuchi Ishikawa, Mikihiro Tanaka, Masayoshi Kondo, Hirokatsu Kataoka
• Abstract要約: 本稿では,DataComp チャレンジにおけるフィルタリングトラックと BYOD トラックの両方に対するソリューションを提案する。 提案ソリューションでは,大規模なマルチモーダルモデルCLIPとBLIP-2を用いてWebクローラーデータのフィルタリングと修正を行い,外部データセットとトリックの袋を併用してデータ品質を向上させる。
• 参考スコア（独自算出の注目度）: 9.474587055642312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large web crawl datasets have already played an important role in learning multimodal features with high generalization capabilities. However, there are still very limited studies investigating the details or improvements of data design. Recently, a DataComp challenge has been designed to propose the best training data with the fixed models. This paper presents our solution to both filtering track and BYOD track of the DataComp challenge. Our solution adopts large multimodal models CLIP and BLIP-2 to filter and modify web crawl data, and utilize external datasets along with a bag of tricks to improve the data quality. Experiments show our solution significantly outperforms DataComp baselines (filtering track: 6.6% improvement, BYOD track: 48.5% improvement).
• Abstract（参考訳）: 大規模なwebクローラデータセットは、高い一般化機能を持つマルチモーダル機能を学ぶ上で、すでに重要な役割を担っている。 しかし、データ設計の詳細や改善についてはまだ研究が限られている。 近年,固定モデルを用いた最良のトレーニングデータを提案するdatacomp challengeが提案されている。 本稿では,DataComp チャレンジにおけるフィルタリングトラックと BYOD トラックの両方に対するソリューションを提案する。 提案ソリューションでは,大規模なマルチモーダルモデルCLIPとBLIP-2を用いてWebクローラーデータのフィルタリングと修正を行い,外部データセットとトリックの袋を用いてデータ品質を向上させる。 実験では、ソリューションがDataCompのベースライン(フィルタリングトラック:6.6%改善、BYODトラック:48.5%改善)を大きく上回っている。

関連論文リスト

• Rethinking Data Selection at Scale: Random Selection is Almost All You Need [39.14807071480125]
  教師付き微調整は、大規模言語モデルと人間の指示の整合に不可欠である。 既存のデータ選択技術の多くは、小規模なデータプール用に設計されている。
  論文  参考訳（メタデータ） (2024-10-12T02:48:34Z)
• Dataset Growth [59.68869191071907]
  InfoGrowthは、データのクリーニングとセレクションのための効率的なオンラインアルゴリズムである。 シングルモーダルタスクとマルチモーダルタスクの両方において、データ品質/効率を改善することができる。
  論文  参考訳（メタデータ） (2024-05-28T16:43:57Z)
• Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic [99.3682210827572]
  ビジョン言語モデル(VLM)は、慎重にキュレートされたWebデータセット上で数千のGPU時間でトレーニングされる。 データキュレーション戦略は通常、トレーニングに利用可能な計算を知らないように開発されている。 ウェブデータの非均一性を考慮したニューラルスケーリング法則を導入する。
  論文  参考訳（メタデータ） (2024-04-10T17:27:54Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• RINAS: Training with Dataset Shuffling Can Be General and Fast [2.485503195398027]
  RINASは、グローバルシャッフルデータセットをロードする際のパフォーマンスボトルネックに対処するデータローディングフレームワークである。 We implement RINAS under the PyTorch framework for common dataset library HuggingFace and TorchVision。 実験の結果,RINASは汎用言語モデルトレーニングと視覚モデルトレーニングのスループットを最大59%,視力モデルトレーニングは89%向上した。
  論文  参考訳（メタデータ） (2023-12-04T21:50:08Z)
• D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning [70.98091101459421]
  コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。 コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。 その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
  論文  参考訳（メタデータ） (2023-10-11T23:01:29Z)
• Data Filtering Networks [67.827994353269]
  本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。 我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。 我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
  論文  参考訳（メタデータ） (2023-09-29T17:37:29Z)
• The Devil is in the Details: A Deep Dive into the Rabbit Hole of Data Filtering [23.68112988933411]
  本稿では,DataComp チャレンジに参加する際の学習と解決について述べる。 我々のフィルタリング戦略は, 単一モダリティフィルタリング, クロスモダリティフィルタリング, データ分散アライメントの3段階を含む。 提案手法は,3つのタスクの平均的なパフォーマンスに対して4%以上,ImageNetでは2%以上,DataComp論文のベストメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-09-27T19:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。