論文の概要: CIDERS: Cloud-Edge LLM Collaborative Learning via Accelerating Personalized Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2609.15664v1
• Date: Mon, 14 Sep 2026 14:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.453994
• Title: CIDERS: Cloud-Edge LLM Collaborative Learning via Accelerating Personalized Bilevel Optimization
• Title（参考訳）: CIDERS: パーソナライズされた双方向最適化によるクラウドエッジLLM協調学習
• Abstract要約: CIDERSは、モデルを学習可能なバックボーンとメッセンジャーに分解する効率的な解法である。 CIDERSは圧縮されたエッジパスの競争ベースラインを一貫して上回ることを示す。 全体として、CIDERSはクラウドエッジLLMシステムにおけるコンセンサス誘導型継続的パーソナライズに向けた実行可能なパスを提供する。
• 参考スコア（独自算出の注目度）: 6.6296063454889484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Amid the rapid advancement of physical-world intelligence, cloud-edge collaborative large language models (LLMs) have emerged as a promising roadmap for practical LLM deployment. However, existing cloud-edge paradigms struggle to balance global consensus with local personalization, which fails to satisfy the need for a unified knowledge foundation on the cloud and domain-specific adaptation at the edge. To address this, we introduce, for the first time, a personalized bilevel optimization framework that formalizes cloud-edge LLM collaboration as a dual structure: the upper level optimizes edge-side personalization, while the lower level governs cloud-side knowledge transfer, reaching cloud-edge evolving in coordination. We then propose CIDERS, an efficient solver that decomposes the model into a learnable backbone and a messenger. While the cloud performs knowledge transfer to the learnable backbone, the key lies in embedding global trajectories into each local personalization step via consensus-variate correction to reconcile personalization with consensus. We provide a comprehensive theoretical analysis, including a geometric characterization of the local trajectory and a full convergence guarantee, revealing an explicit trade-off structure between personalization and global convergence. Extensive experiments demonstrate that CIDERS consistently outperforms competitive baselines on the compressed edge path, with 3.1x and 1.7x gains on mathematical reasoning and code generation, respectively, and a 10\% relative gain on instruction metrics. Mechanism experiments attribute these gains to early consensus-corrected coordination and task-aware distillation. Overall, CIDERS offers a viable path toward consensus-guided continuous personalization in cloud-edge LLM systems.
• Abstract（参考訳）: 物理世界のインテリジェンスが急速に進歩する中、実用的LLMデプロイメントのための有望なロードマップとして、クラウドエッジの協調型大規模言語モデル(LLM)が登場した。 しかし、既存のクラウドエッジパラダイムは、グローバルコンセンサスとローカルパーソナライゼーションのバランスをとるのに苦労している。 これを解決するために、初めて、クラウドエッジのLLMコラボレーションを2つの構造として形式化したパーソナライズされたバイレベル最適化フレームワークを紹介した。 次に、モデルを学習可能なバックボーンとメッセンジャーに分解する効率的な解法であるCIDERSを提案する。 クラウドは学習可能なバックボーンへの知識伝達を行うが、鍵となるのは、各局所的なパーソナライゼーションステップにグローバルな軌跡を埋め込むことである。 局所軌道の幾何学的特徴と完全収束保証を含む包括的理論的解析を行い、パーソナライゼーションとグローバル収束の間の明確なトレードオフ構造を明らかにする。 大規模な実験により、CIDERSは圧縮されたエッジパスの競争ベースラインを一貫して上回り、それぞれ3.1xと1.7xは数学的推論とコード生成で、命令メトリクスでは10倍の相対的なゲインを持つことが示された。 メカニズム実験では、これらの利得は早期のコンセンサス補正調整とタスク対応蒸留に起因している。 全体として、CIDERSはクラウドエッジLLMシステムにおけるコンセンサス誘導型継続的パーソナライズに向けた実行可能なパスを提供する。

関連論文リスト

• Learning to Act and Cooperate for Distributed Black-Box Consensus Optimization [4.633828400918887]
  分散ブラックボックスコンセンサス最適化はマルチエージェントシステムにおける基本的な問題である。 本稿では,リソース適応協調フレームワークを活性化するための段階的認知スケジューリング戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-01T14:30:38Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• Decentralized Dynamic Cooperation of Personalized Models for Federated Continual Learning [50.56947843548702]
  フェデレーション型連続学習のための分散動的協調フレームワークを提案する。 顧客は、新しい知識の獲得と事前学習の維持のバランスをとるために、動的な協調学習連合を確立する。 また、協調的・動的平衡を達成するために、マージブロックアルゴリズムと動的協調的進化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-28T06:53:23Z)
• Socially inspired Adaptive Coalition and Client Selection in Federated Learning [36.94429692322632]
  フェデレートラーニング(FL)は、プライバシ保護のための協調モデルトレーニングを可能にするが、その効果はクライアントデータの不均一性によって制限されることが多い。 i)合意に基づいてクライアントの非重複連立を動的に形成し、(ii)モデル更新のばらつきを最小限に抑えるために、各連立から1人の代表を選定するクライアント選択アルゴリズムを導入する。 提案手法は, 近距離行列をスペクトルクラスタリングに利用し, 集団の集合的意見を推定する最も情報性の高い個人を特定する手法として, ソーシャルネットワークモデリングに着想を得たものである。
  論文  参考訳（メタデータ） (2025-06-03T14:04:31Z)
• FedDuA: Doubly Adaptive Federated Learning [2.6108066206600555]
  フェデレーション学習(Federated Learning)は、クライアントが生データを共有せずにグローバルモデルを共同でトレーニングする分散学習フレームワークである。 我々は、ミラー降下レンズによる中央サーバ最適化手順を定式化し、FedDuAと呼ばれる新しいフレームワークを提案する。 提案した2次適応型ステップサイズルールは最小限最適であり,凸対象に対する収束解析を提供する。
  論文  参考訳（メタデータ） (2025-05-16T11:15:27Z)
• Beyond Model Scale Limits: End-Edge-Cloud Federated Learning with Self-Rectified Knowledge Agglomeration [13.056361971363902]
  自己認識型知識集約(FedEEC)を用いたエンドエッジクラウドフェデレーション学習を提案する。 FedEECは、EECCを内蔵した新しいFLフレームワークで、エンド、エッジ、クラウドといったトレーニングされたモデルが、サイズが大きくなり、能力も向上する。
  論文  参考訳（メタデータ） (2025-01-01T01:11:16Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。