論文の概要: Efficient Decentralized Multi-task Dataset Valuation via Model Merging
- arxiv url: http://arxiv.org/abs/2607.03346v1
- Date: Fri, 03 Jul 2026 14:01:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.595608
- Title: Efficient Decentralized Multi-task Dataset Valuation via Model Merging
- Title（参考訳）: モデルマージによる効率的な分散マルチタスクデータセット評価
- Abstract要約: DMVM(Decentralized Multi-task Valuation via Model Merging)を提案する。
DMVMは、生データをトレーニングしたり、共有する代わりに、異なるデータセットでトレーニングされたモデルをパラメータ空間で組み合わせて、複数のタスクでデータセットの限界ユーティリティを推測する方法を定量化する。
- 参考スコア（独自算出の注目度）: 5.100622189286672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate and efficient dataset valuation is essential for enabling fair and transparent data marketplaces, especially when multiple contributors provide data for training multi-task models. Most existing valuation methods, however, are limited to single-task settings, overlooking scenarios where a buyer aims to optimize performance across multiple downstream tasks. Moreover, traditional valuation approaches, such as Shapley-based or retraining-based methods, are computationally expensive and poorly suited for decentralized environments without a trusted central coordinator and with strict privacy constraints. We propose DMVM (Decentralized Multi-task Valuation via Model Merging), a novel framework that bypasses retraining and data sharing by leveraging task arithmetic to infer dataset contributions directly from model combinations. Instead of retraining or sharing raw data, DMVM quantifies how models trained on different datasets combine in parameter space to infer each dataset's marginal utility across multiple tasks. This formulation yields a valuation process that is scalable, computationally efficient, and explicitly aligned with multi-task generalization behavior. To support decentralized deployment, we introduce a secure aggregation protocol that enables collaborative valuation without revealing individual model parameters or private data. We also provide theoretical error bounds characterizing the approximation quality of DMVM and validate our framework through comprehensive experiments on computer vision and natural language processing tasks.
- Abstract（参考訳）: 複数のコントリビュータがマルチタスクモデルをトレーニングするためのデータを提供する場合、公正で透過的なデータマーケットプレースを可能にするためには、正確で効率的なデータセット評価が不可欠である。
しかし、既存の評価手法のほとんどはシングルタスクの設定に限られており、購入者が複数のダウンストリームタスクのパフォーマンスを最適化するシナリオを見越している。
さらに、Shapleyベースの手法やリトレーニングベースの手法のような従来の評価手法は、信頼性の高い中央コーディネータや厳格なプライバシー制約を伴わずに、計算コストが高く、分散環境には適さない。
DMVM(Decentralized Multi-task Valuation via Model Merging)は,タスク算術を利用してモデルの組合せから直接データセットのコントリビューションを推測することにより,再学習やデータ共有を回避できる新しいフレームワークである。
DMVMは、生データをトレーニングしたり、共有する代わりに、異なるデータセットでトレーニングされたモデルをパラメータ空間で組み合わせて、複数のタスクでデータセットの限界ユーティリティを推測する方法を定量化する。
この定式化は、スケーラブルで計算効率が良く、マルチタスクの一般化の振る舞いと明確に一致した評価プロセスをもたらす。
分散配置を支援するために、個別のモデルパラメータやプライベートデータを明らかにすることなく協調的な評価を可能にするセキュアなアグリゲーションプロトコルを導入する。
また、DMVMの近似品質を特徴付ける理論的誤差境界を提供し、コンピュータビジョンと自然言語処理タスクに関する包括的な実験を通じて、我々のフレームワークを検証する。
関連論文リスト
- Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies [50.39041754816285]
本稿では、下流タスクと特定のモデルの両方にデータ選択を併用する多変数重み学習フレームワークを提案する。
提案手法は,GSM8Kのトレーニングサンプルの30%しか使用せず,フルデータセットチューニングに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2026-05-10T17:30:16Z) - TADS: Task-Aware Data Selection for Multi-Task Multimodal Pre-Training [29.962039479618543]
マルチタスク・マルチモーダル・プレトレーニングのための新しいフレームワークであるTADS(Task-Aware Data Selection)を紹介する。
TADSは固有の品質、タスク関連性、分散多様性を学習可能な値関数に統合する。
フィードバック駆動型メタ学習機構は、プロキシモデルの性能に基づいて選択戦略を適応的に洗練する。
論文 参考訳（メタデータ） (2026-02-05T03:08:45Z) - Cross-Learning from Scarce Data via Multi-Task Constrained Optimization [70.90607489166648]
本稿では,データ不足を克服するマルチタスク・エンフクロス学習フレームワークを提案する。
我々はこの結合推定を制約付き最適化問題として定式化する。
本研究では, 画像分類や伝染病の伝播を含む実データを用いて, クロスラーニング手法の有効性を示す。
論文 参考訳（メタデータ） (2025-11-17T18:35:59Z) - Multimodal-Guided Dynamic Dataset Pruning for Robust and Efficient Data-Centric Learning [49.10890099624699]
本稿では,タスク駆動の難易度とモダリティ間のセマンティクスの整合性に基づいて,トレーニングサンプルを適応的に選択する動的データセット解析フレームワークを提案する。
私たちの研究は、堅牢なサンプル選択のためのモダリティアライメントの統合の可能性を強調し、アプリケーションドメイン全体のより効率的で堅牢なプラクティスに向けて、データ中心の学習を進めています。
論文 参考訳（メタデータ） (2025-07-17T03:08:26Z) - Losing is for Cherishing: Data Valuation Based on Machine Unlearning and Shapley Value [24.00172524434103]
我々は、機械学習を利用してデータ値を効率的に推定する新しいフレームワークUnlearning Shapleyを提案する。
提案手法は,モンテカルロサンプリングによるシェープリー値の計算を行い,再学習を回避し,全データへの依存を排除した。
この作業は、データバリュエーション理論と実践的デプロイメントのギャップを埋め、現代のAIエコシステムにスケーラブルでプライバシに準拠したソリューションを提供する。
論文 参考訳（メタデータ） (2025-05-22T02:46:03Z) - IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment [29.703775936837012]
大規模言語モデル(LLM)は、多様な教育データセット上でのスーパービジョンファインチューニング(SFT)を通じて、素晴らしいパフォーマンスを実現している。
複数の機能を同時にトレーニングする場合、異なるドメインからのデータ量によって管理される混合トレーニングデータセットは、最終モデルのパフォーマンスに直接影響を及ぼす重要な要素である。
混合SFTデータセット内の異なる領域からのデータのボリュームを効果的に最適化する革新的なデータ平衡フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-19T06:42:44Z) - MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。
MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。
また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
論文 参考訳（メタデータ） (2024-06-11T17:55:25Z) - DANCE: Dual-View Distribution Alignment for Dataset Condensation [39.08022095906364]
我々は、データセットのコンディエンテーション(DANCE)のためのDMベースの新しいDual-view Distribution AligNmentを提案する。
具体的には、内部クラスの観点から複数の「中間エンコーダ」を構築し、擬似的な長期分布アライメントを行う。
クラス間の観点からは,分布キャリブレーションを行うために専門家モデルを用いる。
論文 参考訳（メタデータ） (2024-06-03T07:22:17Z) - Pessimistic Value Iteration for Multi-Task Data Sharing in Offline Reinforcement Learning [116.87367592920171]
オフライン強化学習(RL)は、固定データセットからタスク固有のポリシーを学ぶ上で有望な結果を示している。
特定のタスクのデータセットが制限されているシナリオでは、他のタスクからのデータセットでオフラインのRLを改善することが自然なアプローチである。
データ選択なしでデータセット全体を共有する不確実性に基づくマルチタスクデータ共有(MTDS)手法を提案する。
論文 参考訳（メタデータ） (2024-04-30T08:16:52Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。