論文の概要: ACME: Adaptive Customization of Large Models via Distributed Systems

• arxiv url: http://arxiv.org/abs/2507.14802v1
• Date: Sun, 20 Jul 2025 03:30:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.06561
• Title: ACME: Adaptive Customization of Large Models via Distributed Systems
• Title（参考訳）: ACME: 分散システムによる大規模モデルの適応的カスタマイズ
• Authors: Ziming Dai, Chao Qiu, Fei Gao, Yunfeng Zhao, Xiaofei Wang,
• Abstract要約: 本稿では,Transformerベースの大規模モデルの適応的カスタマイズ手法であるACMEを提案する。 ACMEはモデルサイズ制約の下でコスト効率の高いモデルを実現する。 平均精度はベースラインに比べて10%向上する。
• 参考スコア（独自算出の注目度）: 7.358399967930416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Transformer-based large models have revolutionized personal virtual assistants, but their deployment in cloud environments faces challenges related to data privacy and response latency. Deploying large models closer to the data and users has become a key research area to address these issues. However, applying these models directly often entails significant difficulties, such as model mismatching, resource constraints, and energy inefficiency. Automated design of customized models is necessary, but it faces three key challenges, namely, the high cost of centralized model customization, imbalanced performance from user heterogeneity, and suboptimal performance from data heterogeneity. In this paper, we propose ACME, an adaptive customization approach of Transformer-based large models via distributed systems. To avoid the low cost-efficiency of centralized methods, ACME employs a bidirectional single-loop distributed system to progressively achieve fine-grained collaborative model customization. In order to better match user heterogeneity, it begins by customizing the backbone generation and identifying the Pareto Front under model size constraints to ensure optimal resource utilization. Subsequently, it performs header generation and refines the model using data distribution-based personalized architecture aggregation to match data heterogeneity. Evaluation on different datasets shows that ACME achieves cost-efficient models under model size constraints. Compared to centralized systems, data transmission volume is reduced to 6 percent. Additionally, the average accuracy improves by 10 percent compared to the baseline, with the trade-off metrics increasing by nearly 30 percent.
• Abstract（参考訳）: トレーニング済みのTransformerベースの大規模モデルは、パーソナルバーチャルアシスタントに革命をもたらしたが、クラウド環境への展開は、データのプライバシとレスポンスレイテンシに関連する課題に直面している。 データとユーザの近くに大きなモデルをデプロイすることは、これらの問題に対処するための重要な研究領域になっている。 しかし、これらのモデルを適用するには、しばしば、モデルミスマッチ、リソース制約、エネルギーの非効率など、重大な困難が伴う。 カスタマイズモデルの自動設計が必要であるが、集中型モデルカスタマイズの高コスト、ユーザの不均一性による不均衡パフォーマンス、データの不均一性による準最適パフォーマンスという3つの大きな課題に直面している。 本稿では,Transformerをベースとした大規模モデルの適応的カスタマイズ手法であるACMEを提案する。 集中型手法の低コスト化を避けるため、ACMEは双方向の単一ループ分散システムを使用して、よりきめ細かな協調モデルカスタマイズを段階的に実現している。 ユーザの不均一性を改善するために、バックボーンの生成をカスタマイズし、モデルサイズの制約の下でPareto Frontを特定し、最適なリソース利用を確保することから始める。 その後、ヘッダ生成を行い、データ分散に基づくパーソナライズされたアーキテクチャアグリゲーションを使用してモデルを洗練し、データの異種性にマッチさせる。 異なるデータセットの評価により、ACMEはモデルサイズ制約の下でコスト効率の高いモデルを実現する。 中央集権システムと比較して、データ転送量は6%に削減される。 さらに、平均精度はベースラインよりも10%向上し、トレードオフ指標は30%近く増加した。

関連論文リスト

• Boosting Generalization Performance in Model-Heterogeneous Federated Learning Using Variational Transposed Convolution [0.27309692684728615]
  Federated Learning(FL)は、分散クライアントがローカルデータを効率的に処理できるようにする、先駆的な機械学習パラダイムである。 従来のモデル均質なアプローチは、主に局所的なトレーニング手順を正規化したり、集約においてクライアントの重みを動的に調整したりする。 モデルアグリゲーションなしで未確認データに対するクライアントの一般化性能を向上させるモデル不均一FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-03T08:55:18Z)
• Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
  Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。 動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。 これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-07-14T16:19:00Z)
• Not All Clients Are Equal: Personalized Federated Learning on Heterogeneous Multi-Modal Clients [52.14230635007546]
  ファンデーションモデルは多様なマルチモーダルタスクにまたがって顕著な能力を示してきたが、その集中的なトレーニングはプライバシーの懸念を高め、高い伝達コストを引き起こす。 異なるユーザー目的のためにAIモデルをパーソナライズする需要が高まっているため、パーソナライズされたフェデレーションラーニング(PFL)が出現している。 PFLは、各クライアントが他のクライアントの知識を活用して、データを共有することなく、個々のユーザの好みにさらに適応することを可能にする。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• Communication-Efficient and Personalized Federated Foundation Model Fine-Tuning via Tri-Matrix Adaptation [47.82423317739088]
  本稿では, パーソナライズされたモデルパラメータアグリゲーションを用いた三要素化低ランク適応手法である通信効率のフェデレーションLoRA適応(CE-LoRA)を提案する。 各種LLMおよびVLM微調整タスクの実験により、CE-LoRAは通信オーバーヘッドを著しく低減するだけでなく、独立で同一の分散データ条件下での性能も向上することが示された。
  論文  参考訳（メタデータ） (2025-03-31T09:18:42Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Selective Knowledge Sharing for Personalized Federated Learning Under Capacity Heterogeneity [12.333226301343029]
  Pa3dFLは、容量不均一なモデル間で知識を分離し、選択的に共有することで、局所モデルの性能を向上させるために設計された新しいフレームワークである。 本研究では,Pa3dFLの有効性を評価するために,3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-31T02:59:25Z)
• Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
  カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。 適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。 最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-10-05T14:08:42Z)
• Towards Personalized Federated Learning via Heterogeneous Model Reassembly [84.44268421053043]
  pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。 pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
  論文  参考訳（メタデータ） (2023-08-16T19:36:01Z)
• OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless Compression [49.10945855716001]
  本稿では,事前学習した深部生成モデルから始まり,そのモデルに動的システムを適用してデータバッチを圧縮する手法を提案する。 実験結果から、バニラOSOAは、トレーニング対象のモデルとスペースに対して、すべてのターゲットに対して1つのモデルを使用することに対して、かなりの時間を節約できることが示された。
  論文  参考訳（メタデータ） (2021-11-02T15:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。