論文の概要: Variance Alignment Score: A Simple But Tough-to-Beat Data Selection Method for Multimodal Contrastive Learning

• arxiv url: http://arxiv.org/abs/2402.02055v1
• Date: Sat, 3 Feb 2024 06:29:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:26:35.062792
• Title: Variance Alignment Score: A Simple But Tough-to-Beat Data Selection Method for Multimodal Contrastive Learning
• Title（参考訳）: 可変アライメントスコア:マルチモーダル・コントラスト学習のための単純だが靭なデータ選択法
• Authors: Yiping Wang, Yifang Chen, Wendan Yan, Kevin Jamieson, Simon Shaolei Du
• Abstract要約: 本稿では、Sigma_texttest, Sigma_irangle$という形式を持つVariance Alignment Score(VAS)という原則付き計量を提案する。 VASとCLIPのスコアを合わせると、ノイズの多いデータセットDataCompの38評価セットに1.3%、高品質なデータセットCC12MのVTABに2.5%の差でベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 17.40655778450583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, data selection has emerged as a core issue for large-scale visual-language model pretraining, especially on noisy web-curated datasets. One widely adopted strategy assigns quality scores such as CLIP similarity for each sample and retains the data pairs with the highest scores. However, these approaches are agnostic of data distribution and always fail to select the most informative samples. To solve this problem, we propose a simple yet theoretically principled metric named Variance Alignment Score (VAS), which has the form $\langle \Sigma_{\text{test}}, \Sigma_i\rangle$. Here, $\Sigma_{\text{test}}$ represents the target (cross-)covariance matrix we aim to align, potentially based on prior knowledge, while $\Sigma_i$ denotes the tensor product of single or multi-modal representations for the $i$-th sample. We further design a new data selection method that maximizes the total VAS. We provide theoretical analysis in a simplified setting to demonstrate the theoretical advantage of VAS over random or other existing data selection. Experimentally, applying VAS and CLIP scores together can outperform baselines by a margin of $1.3\%$ average on 38 evaluation sets for noisy dataset DataComp and $2.5\%$ on VTAB for high-quality dataset CC12M. Additionally, our ablation study also shows visual features are better than text for calculating VAS, and the related classical experimental design methods may fail under this context.
• Abstract（参考訳）: 近年、大規模なビジュアル言語モデルの事前学習において、特にノイズの多いwebキュレーションデータセットにおいて、データ選択が重要な問題となっている。 広く採用されている戦略のひとつに、サンプル毎にCLIP類似性などの品質スコアを割り当て、最高スコアとデータペアを保持するものがある。 しかし、これらのアプローチはデータ分布を知らないため、最も情報に富むサンプルを常に選ばない。 この問題を解決するために, 可変アライメントスコア (VAS) という, 単純だが理論的に原理化された計量を提案し, その形式は $\langle \Sigma_{\text{test}}, \Sigma_i\rangle$ である。 ここで、$\sigma_{\text{test}}$ は私たちが調整しようとしている目標(クロス)共分散行列を表し、潜在的な事前知識に基づいて、$\sigma_i$ は$i$-th サンプルのシングルまたはマルチモーダル表現のテンソル積を表す。 さらに、全VASを最大化する新しいデータ選択法を設計する。 本研究では,ランダムあるいは他の既存データ選択に対するvasの理論的利点を示すために,簡易な設定で理論的解析を行う。 実験的に、VASとCLIPのスコアを合わせると、ノイズの多いデータセットDataCompの38の評価セットの平均1.3\%、高品質なデータセットCC12MのVTABの2.5\%と、ベースラインを上回ります。 さらに,本研究では,VAS計算のためのテキストよりも視覚的特徴の方が優れており,関連する古典的実験設計手法はこの文脈で失敗する可能性がある。

関連論文リスト

• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• BWS: Best Window Selection Based on Sample Scores for Data Pruning across Broad Ranges [12.248397169100784]
  データサブセットの選択は、フルデータセットのトレーニングを近似できる大規模なデータセットの、小さくても情報に富むサブセットを見つけることを目的としている。 難易度スコアに基づいて順序付けされたサンプルから最適なウィンドウサブセットを選択する方法を提案することにより、普遍的で効率的なデータサブセット選択法であるBest Window Selection(BWS)を導入する。
  論文  参考訳（メタデータ） (2024-06-05T08:33:09Z)
• Data-Efficient Learning via Clustering-Based Sensitivity Sampling: Foundation Models and Beyond [28.651041302245538]
  我々は$k$-meansクラスタリングとサンプリング感度に基づく新しいデータ選択手法を提案する。 線形回帰にどのように適用できるかを示すとともに,レバレッジスコアサンプリングの性能と驚くほど一致した新しいサンプリング戦略がもたらされる。
  論文  参考訳（メタデータ） (2024-02-27T09:03:43Z)
• Towards a statistical theory of data selection under weak supervision [7.540077751816086]
  サイズが$N$のサンプルが与えられた場合、統計的な推定や学習に使用される小さなサイズの$nN$のサブサンプルを選択するのが有用である。 我々は、ラベルのないサンプル$N$$bold x_i_ile N$を与えられると仮定し、ランダムな推測よりも$y_i$のラベルを予測できる代理モデルにアクセスできると仮定する。
  論文  参考訳（メタデータ） (2023-09-25T22:23:27Z)
• Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
  コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。 我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:56:20Z)
• Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features [119.22672589020394]
  多様な特徴の集合を学習し,これらの特徴を補間することによって対象分布に適応する,軽量でサンプル効率のよい手法を提案する。 複数の分散シフト設定を持つ4つのデータセットに対する実験により、Pro$2$は、限られたターゲットデータが与えられた場合、パフォーマンスを5～15%向上することが示された。
  論文  参考訳（メタデータ） (2023-02-10T18:58:03Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios [79.02009938011447]
  本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。 実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
  論文  参考訳（メタデータ） (2022-07-04T04:11:44Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• How to distribute data across tasks for meta-learning? [59.608652082495624]
  タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。 この結果から,データ収集の簡便かつ効率的な手順が示唆された。
  論文  参考訳（メタデータ） (2021-03-15T15:38:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。