論文の概要: Data Selection Through Iterative Self-Filtering for Vision-Language Settings
- arxiv url: http://arxiv.org/abs/2606.23611v1
- Date: Mon, 22 Jun 2026 17:11:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 17:45:59.848231
- Title: Data Selection Through Iterative Self-Filtering for Vision-Language Settings
- Title（参考訳）: ビジョンランゲージ設定のための反復自己フィルタリングによるデータ選択
- Authors: Andrei Liviu Nicolicioiu, Sarvjeet Singh Ghotra, Morgane M. Moss, Aaron Courville,
- Abstract要約: 本稿では、CLIPモデルを進化的自己選択型データセット上でトレーニングする、新しいブートストラップ方式を提案する。
提案手法は,モデルのトレーニングとその後のデータ混合の選択を反復的に行う。
- 参考スコア（独自算出の注目度）: 2.9868893900614406
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The availability of large amounts of clean data is paramount to training neural networks. However, at large scales, manual oversight is impractical, resulting in sizeable datasets that can be very noisy. Attempts to mitigate this obstacle to producing performant vision-language models have so far involved heuristics, curated reference datasets, and using pre-trained models. Here we propose a novel, bootstrapped method in which a CLIP model is trained on an evolving, self-selected dataset. This evolving dataset constitutes a balance of filtered, highly probable clean samples as well as diverse samples from the entire distribution. Our proposed Self-Filtering method iterates between training the model and selecting a subsequently improved data mixture. Training on vision-language datasets filtered by the proposed approach improves downstream performance without the need for additional data or pre-trained models.
- Abstract（参考訳）: 大量のクリーンデータの可用性は、ニューラルネットワークのトレーニングにとって最優先事項である。
しかし、大規模な場合、手動による監視は非現実的であり、非常にうるさいデータセットが生成される。
この障害を軽減し、実演的な視覚言語モデルを作成する試みは、これまで、ヒューリスティックス、キュレートされた参照データセット、事前訓練されたモデルの使用に関わってきた。
本稿では、CLIPモデルを進化的自己選択型データセット上でトレーニングする、新しいブートストラップ方式を提案する。
この進化するデータセットは、フィルターで高確率のクリーンサンプルと、分布全体の多様なサンプルのバランスを構成する。
提案手法は,モデルのトレーニングとその後のデータ混合の選択を反復的に行う。
提案手法によってフィルタリングされたビジョン言語データセットのトレーニングは、追加のデータや事前訓練されたモデルを必要としない、下流のパフォーマンスを改善する。
関連論文リスト
- EvoSelect: Data-Efficient LLM Evolution for Targeted Task Adaptation [79.71802168256542]
大きな言語モデル(LLM)を目的のタスクに効率的に、効果的に適応させることは、根本的な課題である。
1つの簡単なアプローチは、外部ジェネレータを通じて候補データを合成する反復的な生成訓練ループである。
モデル更新に先立って選択ステップを組み込んだ改良パラダイム,すなわち反復生成選択学習ループを導入する。
論文 参考訳（メタデータ） (2026-04-28T23:26:16Z) - Learnability-Guided Diffusion for Dataset Distillation [51.56484100374058]
本稿では, 連続的な段階を通して段階的に合成データセットを構成する学習可能性駆動型データセット蒸留法を提案する。
本稿では,学習可能性誘導拡散(LGD)について紹介する。これは,現在のモデルのトレーニングユーティリティと基準モデルの下での妥当性のバランスをとり,カリキュラムに整合したサンプルを生成する。
提案手法は,トレーニング段階間の専門化を促進し,ImageNet-1K (60.1%), ImageNette (87.2%), ImageWoof (72.9%) の最先端結果を実現する。
論文 参考訳（メタデータ） (2026-04-01T06:04:59Z) - Dataset Distillation for Pre-Trained Self-Supervised Vision Models [43.50190223507616]
データセットの蒸留は、モデルのトレーニングが実際のサンプルのより大きなデータセットでトレーニングされた同じモデルのパフォーマンスを再現するような、小さな合成画像のセットを見つけることを目的としている。
線形勾配マッチング(Linear Gradient Matching)と呼ばれる課題に対して,データセットの蒸留法を導入する。
提案手法は,すべての実像ベースラインを上回り,事前学習された視覚モデルに対して顕著に一般化する合成データを生成する。
論文 参考訳（メタデータ） (2025-11-20T18:59:57Z) - Evaluating Sample Utility for Efficient Data Selection by Mimicking Model Weights [11.237906163959908]
マルチモーダルモデルは、大規模なWebcrawledデータセットでトレーニングされる。
これらのデータセットは、しばしばノイズ、バイアス、無関係な情報を含む。
Mimic Score を用いた効率的なモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2025-01-12T04:28:14Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Data Filtering Networks [67.827994353269]
本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。
我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。
我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
論文 参考訳（メタデータ） (2023-09-29T17:37:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。