論文の概要: Unveiling the Depth-Performance Dilemma in Split-Federated Fine-tuning of LLMs

• arxiv url: http://arxiv.org/abs/2608.22188v1
• Date: Sun, 23 Aug 2026 02:53:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.647368
• Title: Unveiling the Depth-Performance Dilemma in Split-Federated Fine-tuning of LLMs
• Title（参考訳）: LLMの微細加工における深さ・性能ジレンマの展開
• Abstract要約: Split Federated Fine-tuning (SFF)は、Large Language Models (LLM) をスケールするための有望なパラダイムである。 システム効率を最大化する体制は、微調整品質が崩壊する場所である。
• 参考スコア（独自算出の注目度）: 0.8602553195689512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Split Federated Fine-tuning (SFF) is a promising paradigm for scaling Large Language Models (LLMs) by partitioning model depth between resource-constrained clients and a centralized server. While system incentives for throughput and privacy favor deep partitions, the impact of such configurations on model utility remains poorly understood. In this work, we identify and characterize the Depth-Performance Dilemma: the regime that maximizes system efficiency is precisely where fine-tuning quality collapses. Through a comprehensive audit across four model scales (GPT-2 to Llama-3-8B) and diverse benchmarks, we demonstrate that deeper partitions provide monotonic gains in throughput and privacy at the cost of catastrophic performance plateaus. We evaluate a suite of state-of-the-art federated adapter aggregation methods including AVG, STACK, SVD, and FREEZE, revealing that while these techniques are effective in standard Federated Learning, they fail to mitigate the artifacts unique to split architectures. Finally, we provide a mechanistic diagnosis for this failure, tracing the collapse to the near-isometric topology of Transformers, which allows aggregation noise to propagate without attenuation until it triggers Attention Collapse in the server partition. Our findings challenge the prevailing assumption that partition depth is a utility-neutral tuning knob and provide a structural foundation for stable distributed LLM fine-tuning.
• Abstract（参考訳）: Split Federated Fine-tuning (SFF)は、リソース制約のあるクライアントと集中型サーバの間でモデル深度を分割することで、大規模言語モデル(LLM)をスケールするための有望なパラダイムである。 スループットとプライバシに対するシステムインセンティブは深いパーティションを好むが、そのような構成がモデルユーティリティに与える影響はよく分かっていない。 システム効率を最大化する体制は、微調整された品質が崩壊する場所である。 4つのモデルスケール(GPT-2からLlama-3-8B)と多種多様なベンチマークの総合的な監査を通じて、破滅的なパフォーマンス高原を犠牲にして、深いパーティションがスループットとプライバシの単調な向上をもたらすことを実証した。 AVG,STACK,SVD,FREEZEなど,最先端のアダプタアグリゲーション手法の評価を行い,これらの手法が標準フェデレートラーニングに有効である一方で,分割アーキテクチャに特有のアーティファクトを緩和することができないことを明らかにした。 最後に、この故障の機械的診断を行い、この崩壊をトランスフォーマーの近距離等尺トポロジーにトレースすることで、アグリゲーションノイズが減衰することなく伝播し、サーバパーティション内のアテンション崩壊を引き起こす。 本研究は,分割深さが実効性ニュートラルチューニングノブであり,安定分散LLM微調整のための構造基盤を提供するという仮定に挑戦する。

関連論文リスト

• Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients [22.724544289853558]
  FedSLMは異種圧縮クライアントとのファインチューニングのためのパラメータ中心のフレームワークである。 我々は,アダプタレベルのアグリゲーションの理論的保証,グループ間融合における部分空間アライメント境界,および信頼損失が弱いスーパービジョンノイズを緩和する方法のキャラクタリゼーションを提供する。
  論文  参考訳（メタデータ） (2026-07-31T06:45:56Z)
• Group-wise Supervision with Focal-Dice Loss for Long-Tailed Indoor Semantic Occupancy Prediction [9.71287451024712]
  Group-UFD Occは階層的な意味的監督と相乗的損失最適化に基づいている。 大規模なEmbodiedScanデータセットの実験を行った。 その結果,本手法はベースラインよりも11.38%向上した。
  論文  参考訳（メタデータ） (2026-07-31T01:32:45Z)
• Deep Slice Interpolation for Reducing Through-Plane Anisotropy and Noise in Head CT [0.0]
  本稿では,隣接する一対の軸スライスから中間CTスライスを合成する深層学習システムを提案する。 このシステムは、3次元の可視化を改善しながら、自然に識別された出力を同時に生成する。
  論文  参考訳（メタデータ） (2026-06-08T10:45:51Z)
• SIGMA: Bridging Structural and Distributional Gaps for Vision Foundation Model Adaptation [5.145184780729273]
  Vision Foundation Models (VFM) は印象的な表現能力を示している。 textbfScale-textbfIntegrated textbfGlobal textbfModulation textbfAdapter (textbfAdapter)
  論文  参考訳（メタデータ） (2026-05-27T03:17:46Z)
• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
  フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。 グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。 これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。 Byz-Clip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:39:09Z)
• A Secure and Private Distributed Bayesian Federated Learning Design [56.92336577799572]
  DFL(Distributed Federated Learning)は、中央パラメータサーバを持たない大規模システム間の分散モデルトレーニングを可能にする。 DFLは、3つの重要な課題に直面している: 正直な隣人からのプライバシー漏洩、中央調整の欠如による収束の遅さ、モデルの精度の低下を目指すビザンティンの敵に対する脆弱性。 本稿では,ビザンチンの堅牢性,プライバシー保護,収束促進を統合した新しいDFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-23T16:12:02Z)
• OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
  既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。 このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。 我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:41:36Z)
• Why Does the LLM Stop Computing: An Empirical Study of User-Reported Failures in Open-Source LLMs [50.075587392477935]
  オープンソースのDeepSeek、Llama、Qwenのエコシステムから、705の現実世界の失敗に関する大規模な実証的研究を行った。 ホワイトボックスオーケストレーションは、モデルアルゴリズムの欠陥からデプロイメントスタックのシステム的脆弱性へと、信頼性のボトルネックを移動させます。
  論文  参考訳（メタデータ） (2026-01-20T06:42:56Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。