論文の概要: A Structure-Agnostic Co-Tuning Framework for LLMs and SLMs in Cloud-Edge Systems

• arxiv url: http://arxiv.org/abs/2511.11678v1
• Date: Wed, 12 Nov 2025 01:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:22.902483
• Title: A Structure-Agnostic Co-Tuning Framework for LLMs and SLMs in Cloud-Edge Systems
• Title（参考訳）: クラウドエッジシステムにおけるLCMとSLMのための構造に依存しない協調チューニングフレームワーク
• Authors: Yuze Liu, Yunhan Wang, Tiehua Zhang, Zhishu Shen, Cheng Peng, Libing Wu, Feng Xia, Jiong Jin,
• Abstract要約: Co-PLMsは、大規模および小規模言語モデルの協調トレーニングのための新しいフレームワークである。 構造に依存しない相互学習のプロセスを統合し、異種言語モデル間の知識交換を実現する。 その結果、Co-PLMsは最先端の手法より優れており、Roge-Lでは平均5.38%、EMでは4.88%の上昇を達成している。
• 参考スコア（独自算出の注目度）: 20.267719677908683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The surge in intelligent applications driven by large language models (LLMs) has made it increasingly difficult for bandwidth-limited cloud servers to process extensive LLM workloads in real time without compromising user data privacy. To solve these problems, recent research has focused on constructing cloud-edge consortia that integrate server-based LLM with small language models (SLMs) on mobile edge devices. Furthermore, designing collaborative training mechanisms within such consortia to enhance inference performance has emerged as a promising research direction. However, the cross-domain deployment of SLMs, coupled with structural heterogeneity in SLMs architectures, poses significant challenges to enhancing model performance. To this end, we propose Co-PLMs, a novel co-tuning framework for collaborative training of large and small language models, which integrates the process of structure-agnostic mutual learning to realize knowledge exchange between the heterogeneous language models. This framework employs distilled proxy models (DPMs) as bridges to enable collaborative training between the heterogeneous server-based LLM and on-device SLMs, while preserving the domain-specific insights of each device. The experimental results show that Co-PLMs outperform state-of-the-art methods, achieving average increases of 5.38% in Rouge-L and 4.88% in EM.
• Abstract（参考訳）: 大きな言語モデル(LLM)によって駆動されるインテリジェントなアプリケーションの急増により、帯域幅に制限のあるクラウドサーバが、ユーザデータのプライバシを損なうことなく、大規模なLLMワークロードをリアルタイムで処理することがますます困難になっている。 これらの問題を解決するため、最近の研究は、サーバベースのLLMと小さな言語モデル(SLM)をモバイルエッジデバイスに統合するクラウドエッジコンソーシアの構築に重点を置いている。 さらに,このようなコンソーシアム内の協調学習機構を設計し,推論性能を向上させることが有望な研究方向として浮上した。 しかし、SLMのドメイン間展開は、SLMのアーキテクチャにおける構造的不均一性と相まって、モデル性能を向上させる上で大きな課題となっている。 そこで本研究では,多種言語モデル間の知識交換を実現するために,構造に依存しない相互学習プロセスを統合する,大規模・小言語モデルの協調学習のための新しい協調学習フレームワークCo-PLMを提案する。 このフレームワークは、蒸留されたプロキシモデル(DPM)をブリッジとして使用し、各デバイスのドメイン固有の洞察を維持しながら、異種サーバベースLLMとオンデバイスSLMの協調トレーニングを可能にする。 実験の結果、Co-PLMsは最先端の手法より優れており、Roge-Lでは平均5.38%、EMでは4.88%の上昇を達成している。

関連論文リスト

• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
  我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。 PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。 評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-15T15:11:17Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• FedMKT: Federated Mutual Knowledge Transfer for Large and Small Language Models [28.284346666217207]
  FedMKTは、大小の言語モデルのためのパラメータ効率の良い相互知識伝達フレームワークである。 我々は,FedMKTがLLMとSLMの両方の性能を同時に向上させることを示す。
  論文  参考訳（メタデータ） (2024-06-04T11:36:09Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。