論文の概要: DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes
- arxiv url: http://arxiv.org/abs/2607.24516v1
- Date: Mon, 27 Jul 2026 14:55:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.471277
- Title: DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes
- Title（参考訳）: DecoupleMix: スケーラブルなVLMデータレシピのための分離された比探索と凸割当
- Abstract要約: 我々は、データ構築を系統的な混合最適化問題として定式化する。
クラス間アロケーションには、品質と難易度を評価する多次元のデータセットレベルアセスメントを適用する。
クラス内構成には、品質と難易度を評価する多次元のデータセットレベル評価を適用する。
- 参考スコア（独自算出の注目度）: 10.902458329410562
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While data curation for Vision Language Models (VLMs) is increasingly active, public practice for constructing pretraining mixtures remains largely heuristic: practitioners stack datasets that pass quality filters, set cross-domain ratios by intuition, and lack a principled, attributable criterion for admitting new data, while frontier recipes remain undisclosed. We formulate data construction as a systematic mixture-optimization problem and turn it into a reproducible engineering discipline by decoupling the mixture into two orthogonal sub-problems: inter-class ratios across capabilities and intra-class ratios within a category. For inter-class allocation, we use a single-variable iterative search; for intra-class composition, we apply a multidimensional, dataset-level assessment scoring Quality and Difficulty, and formulate selection as a constrained convex optimization with a diversity objective. The DecoupleMix framework delivers two critical capabilities: guiding what data to collect next and rendering dataset validation a controlled, attributable experiment. Experiments show our approach consistently surpasses heuristic baselines. Moreover, optimal ratios discovered on small-scale proxies transfer seamlessly to larger scales without retuning. Using 80B additional multimodal continue-pretraining tokens, our VLM is competitive with strong open-source models trained with substantially larger multimodal budgets.
- Abstract（参考訳）: VLM(Vision Language Models)のデータキュレーションはますます活発になっているが、事前学習した混合物を構築するための公共の実践は、主にヒューリスティックである: 実践者は、品質フィルターをパスし、直観によってドメイン間の比率を設定し、新しいデータを受け入れるための原則的、帰属的な基準を欠いている。
我々は、データ構築を系統的な混合最適化問題として定式化し、それを2つの直交サブプロブレムに分解することで再現可能な工学分野に変換する。
クラス間アロケーションでは、単一変数反復探索を用い、クラス内コンポジションでは、品質と難易度を評価する多次元のデータセットレベルアセスメントを適用し、多様性を目標とした制約付き凸最適化として定式化する。
DecoupleMixフレームワークは、次に収集するデータと、制御された帰属可能な実験のデータセットバリデーションのレンダリングの2つの重要な機能を提供する。
実験によって、我々のアプローチは一貫してヒューリスティックなベースラインを超えている。
さらに、小型プロキシで発見された最適比は、修正することなく、より大規模なスケールにシームレスに伝達する。
VLMは80Bの追加のマルチモーダル継続予測トークンを使用して、より大規模なマルチモーダル予算でトレーニングされた強力なオープンソースモデルと競合しています。
関連論文リスト
- Multimodal Data Curation Through Ranked Retrieval [0.011966041609090325]
トレーニングペアと埋め込みモデルの両方に作用することでアライメントを改善するフレームワークを提案する。
このアプローチは, 基礎埋め込みの専門家に対して, 平均90%以上のモダリティギャップを崩壊させることを実証する。
論文 参考訳（メタデータ） (2026-05-01T23:45:36Z) - Data Mixing for Large Language Models Pretraining: A Survey and Outlook [52.66761353708619]
大規模言語モデル(LLM)は、大規模で不均一なコーパスの事前訓練に依存している。
サンプルレベルのデータ選択とは異なり、データミキシングはドメインレベルのサンプリング重量を最適化し、限られた予算をより効率的に割り当てる。
本稿では,LLM事前学習におけるデータ混合の総合的な検討について述べる。
論文 参考訳（メタデータ） (2026-03-25T13:30:40Z) - MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning [37.71233459623324]
RLVR(Reinforcement Learning with Verifiable Rewards)は、最近、大規模言語モデル(LLM)のポストトレーニングのための強力なパラダイムとして登場した。
RLVRをMultimodal LLM(MLLMs)に適用することは大きなチャンスであるが、視覚言語タスクの広範で異質な性質により複雑である。
本稿では、厳密なデータ混合問題定式化とベンチマーク実装を備えたマルチモーダルLLM RLVRのための体系的な後学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-30T17:59:38Z) - Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。
RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。
本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-19T08:33:11Z) - Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [50.492124556982674]
本稿では,新しい選択型サンプル選択フレームワークを提案する。
個々のサンプル品質の評価から、異なるサンプルのコントリビューション値の比較へと焦点をシフトする。
われわれのアプローチをより大きな医療データセットで検証し、現実の応用における実用性を強調した。
論文 参考訳（メタデータ） (2025-03-04T07:32:41Z) - Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift [2.298932494750101]
クライアント側トレーニング分布の不整合がフェデレート学習モデルの性能を著しく低下させることを示す。
本稿では,ニューラルネットワークの疎結合性,冗長性,堅牢性を改善するために,フラニングとクライアントトレーニングの正規化を組み合わせた新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-19T16:22:37Z) - Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
論文 参考訳（メタデータ） (2024-10-14T15:48:09Z) - A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。
まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。
次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
論文 参考訳（メタデータ） (2024-08-05T23:20:32Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳（メタデータ） (2023-08-28T18:48:34Z) - Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。
我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。
我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
論文 参考訳（メタデータ） (2022-09-30T15:01:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。