論文の概要: Dynamic Cluster Data Sampling for Efficient and Long-Tail-Aware Vision-Language Pre-training

• arxiv url: http://arxiv.org/abs/2604.27932v1
• Date: Thu, 30 Apr 2026 14:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.139071
• Title: Dynamic Cluster Data Sampling for Efficient and Long-Tail-Aware Vision-Language Pre-training
• Title（参考訳）: ビジョンランゲージ学習の効率化と長期化のための動的クラスタデータサンプリング
• Authors: Mingliang Liang, Zhuoran Liu, Arjen P. de Vries, Martha Larson,
• Abstract要約: 我々は,大規模なクラスタをサンプリングし,小さなクラスタをサンプリングするEmphdynamic cluster-based sample approach (DynamiCS)を導入する。 実験の結果,DynamiCS は VLM トレーニングの計算コストを削減し,ロングテールの概念に対して性能上の優位性を提供することがわかった。
• 参考スコア（独自算出の注目度）: 6.5643402438927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The computational cost of training a vision-language model (VLM) can be reduced by sampling the training data. Previous work on efficient VLM pre-training has pointed to the importance of semantic data balance, adjusting the distribution of topics in the data to improve VLM accuracy. However, existing efficient pre-training approaches may disproportionately remove rare concepts from the training corpus. As a result, \emph{long-tail concepts} remain insufficiently represented in the training data and are not effectively captured during training. In this work, we introduce a \emph{dynamic cluster-based sampling approach (DynamiCS)} that downsamples large clusters of data and upsamples small ones. The approach is dynamic in that it applies sampling at each epoch. We first show the importance of dynamic sampling for VLM training. Then, we demonstrate the advantage of our cluster-scaling approach, which maintains the relative order of semantic clusters in the data and emphasizes the long-tail. This approach contrasts with current work, which focuses only on flattening the semantic distribution of the data. Our experiments show that DynamiCS reduces the computational cost of VLM training and provides a performance advantage for long-tail concepts.
• Abstract（参考訳）: トレーニングデータをサンプリングすることで、視覚言語モデル(VLM)をトレーニングする際の計算コストを削減できる。 従来のVLM事前学習では意味データバランスの重要性が指摘されており、データ内のトピックの分布を調整し、VLMの精度を向上させる。 しかし、既存の効率的な事前学習アプローチは、トレーニングコーパスから稀な概念を不均等に除去する可能性がある。 結果として、emph{long-tail concept} はトレーニングデータに不十分に表現され、トレーニング中に効果的にキャプチャされない。 本研究では,大規模クラスタをダウンサンプリングし,小さなクラスタをアップサンプリングする,emph{dynamic cluster-based sample approach (DynamiCS)を提案する。 アプローチは動的であり、各エポックでサンプリングを適用する。 まず, VLMトレーニングにおける動的サンプリングの重要性を示す。 そして,データ中のセマンティッククラスタの相対的な順序を維持し,ロングテールを強調するクラスタスケーリングアプローチの利点を実証する。 このアプローチは、データのセマンティックな分布をフラット化することだけに焦点を当てた、現在の作業とは対照的である。 実験の結果,DynamiCS は VLM トレーニングの計算コストを削減し,ロングテールの概念に対して性能上の優位性を提供することがわかった。

関連論文リスト

• From Data-Centric to Sample-Centric: Enhancing LLM Reasoning via Progressive Optimization [7.531052649961168]
  検証可能な報酬付き強化学習(RLVR)は、最近、大規模言語モデル(LLM)の推論能力を進歩させた。 サンプル中心の観点からRLVRを調査し,プログレッシブ最適化手法の枠組みであるLPPOを導入する。 私たちの仕事は、データボリュームを単にスケールアップするのではなく、小さな信頼性のある高品質なデモを最大限に活用する方法という、重要な問題に対処しています。
  論文  参考訳（メタデータ） (2025-07-09T06:05:28Z)
• Reasoning to Learn from Latent Thoughts [61.2395150828168]
  本研究では,テキスト生成プロセスの根底にある表現的思考を明示的にモデル化し,推論することにより,事前学習データの効率を大幅に向上させることができることを示す。 1B LMは、少なくとも3回の反復でその性能をブートストラップし、生データに基づいてトレーニングされたベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-24T16:41:23Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud Dataset [25.935496432142976]
  知覚モデルが大規模なクラウドデータセットから学ぶことは、Autonomous Driving (AD)コミュニティの長期的なビジョンである。 我々は、ポイントクラウド事前トレーニングタスクを半教師付き問題として定式化し、少数のラベル付きおよび大規模ラベルなしのポイントクラウドデータを活用する。 我々は、異なるベースラインモデルの下で、nuScenesやKITTIを含む一連の下流認識ベンチマークにおいて、大幅な性能向上を達成する。
  論文  参考訳（メタデータ） (2023-06-01T12:32:52Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。