論文の概要: TANDEM: Bi-Level Data Mixture Optimization with Twin Networks

• arxiv url: http://arxiv.org/abs/2606.04401v1
• Date: Wed, 03 Jun 2026 03:28:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.511949
• Title: TANDEM: Bi-Level Data Mixture Optimization with Twin Networks
• Title（参考訳）: TANDEM: ツインネットワークによる双方向データ混合最適化
• Authors: Jiaxing Wang, Deping Xiang, Jin Xu, Mingyang Yi, Guoqiang Gong, Zicheng Zhang, Haoran Li, Pengzhang Liu, Zhen Chen, Ke Zhang, Ju Fan, Qixiang Jiang,
• Abstract要約: 大規模言語モデル(LLM)に対する二段階最適化問題を提案する。 問題を単一レベルのペナル化形式に単純化し、ツインネットワークで解決する。 提案手法は、ツインモデルとアップウェイトドメインの差によるデータの有効性を計測する。
• 参考スコア（独自算出の注目度）: 37.94726322431112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The capabilities of large language models (LLMs) significantly depend on training data drawn from various domains. Optimizing domain-specific mixture ratios can be modeled as a bi-level optimization problem, which we simplify into a single-level penalized form and solve with twin networks: a proxy model trained on primary data and a dynamically updated reference model trained with additional data. Our proposed method, Twin Networks for bi-level DatA mixturE optiMization (TANDEM), measures the data efficacy through the difference between the twin models and up-weights domains that benefit more from the additional data. TANDEM provides theoretical guarantees and wider applicability, compared to prior approaches. Furthermore, our bi-level perspective suggests new settings to study domain reweighting such as data-restricted scenarios and supervised fine-tuning, where optimized mixture ratios significantly improve the performance. Extensive experiments validate TANDEM's effectiveness in all scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)の能力は、様々なドメインから引き出されたトレーニングデータに大きく依存する。 ドメイン固有の混合比を最適化することは、二段階最適化問題としてモデル化でき、これは単一レベルのペナル化形式に単純化され、プライマリデータで訓練されたプロキシモデルと、追加データで訓練された動的に更新された参照モデルである。 提案手法であるTANDEM(Bi-level DatA mixturE optiMization)のツインネットワーク(Twin Networks for bi-level DatA mixturE optiMization)は,重み付きモデルと重み付きドメインの違いによってデータの有効性を測定する。 TANDEMは、従来のアプローチと比較して理論的な保証と適用性を提供する。 さらに両レベルの観点からは、データ制限シナリオや教師付き微調整などのドメイン再重み付けを研究するための新しい設定を提案する。 大規模な実験は、あらゆるシナリオにおいてTANDEMの有効性を検証する。

関連論文リスト

• Bagging-Based Model Merging for Robust General Text Embeddings [73.51674133699196]
  汎用テキスト埋め込みモデルは、幅広いNLPおよび情報検索アプリケーションを支える。 本稿では,データスケジューリングとモデルマージという2つの観点から,テキスト埋め込みのためのマルチタスク学習の体系的研究を行う。 本稿では,Baging ベースの rObust mOdel Merging (BOOM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T15:45:08Z)
• Heterogeneous Self-Supervised Acoustic Pre-Training with Local Constraints [64.15709757611369]
  異種データを扱うための自己教師付き事前学習手法を提案する。 提案手法は、下流の教師付き微調整タスクに対する自己教師付き事前訓練モデルの適応性を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2025-08-27T15:48:50Z)
• Data Mixing Optimization for Supervised Fine-Tuning of Large Language Models [5.626695215498112]
  最適化問題としてデータミキシングを枠組み化し,検証損失を最小限に抑える新しい手法を提案する。 提案手法は, 効率的なデータ転送をモデル化し, スケール法則を微調整に活用することにより, 損失をパラメタライズする。 提案アルゴリズムは,全領域にわたる総合的,個人的パフォーマンスに優れることを示す。
  論文  参考訳（メタデータ） (2025-08-16T07:28:39Z)
• IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment [29.703775936837012]
  大規模言語モデル(LLM)は、多様な教育データセット上でのスーパービジョンファインチューニング(SFT)を通じて、素晴らしいパフォーマンスを実現している。 複数の機能を同時にトレーニングする場合、異なるドメインからのデータ量によって管理される混合トレーニングデータセットは、最終モデルのパフォーマンスに直接影響を及ぼす重要な要素である。 混合SFTデータセット内の異なる領域からのデータのボリュームを効果的に最適化する革新的なデータ平衡フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T06:42:44Z)
• Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
  本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。 ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。 ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
  論文  参考訳（メタデータ） (2024-10-15T17:47:44Z)
• BiMix: A Bivariate Data Mixing Law for Language Model Pretraining [47.77701041534746]
  事前学習データ構成がモデル性能に与える影響はいまだよく分かっていない。 $textbfBiMix$は、データの混合を理解し、最適化するための体系的なフレームワークを提供する。 我々の研究は、データミキシングの力学に関する理論的知見と、LLMトレーニング効率を向上させるための実践的なツールの両方に貢献する。
  論文  参考訳（メタデータ） (2024-05-23T09:44:02Z)
• Pseudo-Trilateral Adversarial Training for Domain Adaptive Traversability Prediction [8.145900996884993]
  トラバーサビリティ予測は、自律ナビゲーションの基本的な認識能力である。 非教師なしドメイン適応(UDA)を行うために、粗大なアライメント(CALI)を採用する新しい知覚モデルを提案する。 いくつかの挑戦的なドメイン適応設定において、提案したモデルが複数のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-26T00:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。