論文の概要: FedSDR: Federated Self-Distillation with Rectification

• arxiv url: http://arxiv.org/abs/2605.18028v1
• Date: Mon, 18 May 2026 08:18:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.117339
• Title: FedSDR: Federated Self-Distillation with Rectification
• Title（参考訳）: FedSDR:Federated Self-Distillation with Rectification
• Authors: Ziheng Ren, Zhanming Shen, Hao Wang, Ning Liu, You Song,
• Abstract要約: 基本的かつ強力な戦略としてのフェデレート自己蒸留(FedSD)。 FedSDR(Federated Self-Distillation with Rectification)は究極の強化フレームワークである。
• 参考スコア（独自算出の注目度）: 7.97420354246388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated fine-tuning of Large Language Models faces severe statistical heterogeneity. However, existing model-level defenses often overlook the root cause: intrinsic data distribution mismatches. In this work, we first establish Federated Self-Distillation (FedSD) as a fundamental and potent strategy. By projecting client representations into a smoothed ``model-understanding space,'' FedSD alone serves as a universal booster, demonstrating superior performance over conventional algorithms. Despite its success, we identify a subtle trade-off termed the Rewrite Paradox -- unconstrained self-distillation can inadvertently increase hallucinations and redundancy. To refine this paradigm, we further propose FedSDR (Federated Self-Distillation with Rectification), the ultimate reinforced framework. It augments FedSD with a dual-stream mechanism: a local LoRA-S (Smoothing) branch to implicitly absorb heterogeneity via distilled data, and a parallel global LoRA-R (Rectification) branch anchored to raw data to enforce factual correctness. By selectively aggregating only LoRA-R, FedSDR yields a globally aligned and faithful model. Extensive experiments verify its superior performance.
• Abstract（参考訳）: 大規模言語モデルのフェデレートされた微調整は、深刻な統計的不均一性に直面している。 しかし、既存のモデルレベルの防御は、しばしば根本原因を見落としている。 本研究では,フェデレート自己蒸留(FedSD)を基本的かつ強力な戦略として確立する。 クライアント表現をスムーズな ` `model-understanding space' に投影することで、FedSD は、従来のアルゴリズムよりも優れたパフォーマンスを示す、普遍的なブースターとして機能する。 その成功にもかかわらず、我々は「リライトパラドックス」と呼ばれる微妙なトレードオフを特定します。 このパラダイムを洗練させるために,我々はさらに,究極の強化フレームワークであるFedSDR(Federated Self-Distillation with Rectification)を提案する。 ローカルなLoRA-S(Smoothing)ブランチは蒸留データを介して暗黙的に不均一性を吸収し、並列なグローバルなLoRA-R(Rectification)ブランチは生データに固定され、事実の正しさを強制する。 LoRA-Rのみを選択的に集約することで、FedSDRはグローバルに整列し忠実なモデルが得られる。 大規模な実験は、その優れた性能を検証する。

関連論文リスト

• First-Mover Bias in Gradient Boosting Explanations: Mechanism, Detection, and Resolution [0.0]
  第1モーバーバイアス(英: First-mover bias)は、勾配上昇における逐次的残留フィッティングに起因する特徴量の集中である。 モデル独立性は線形状態における最優先バイアスを解くのに十分であり、非線形データ生成プロセス下では最も効果的な緩和法であることを示す。
  論文  参考訳（メタデータ） (2026-03-22T02:59:40Z)
• SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation [62.14510717860079]
  本稿では, 自己回帰モデルの学習効率を, 拡散の並列推論能力で統一するSynergistic Diffusion-Autoregressionパラダイムを提案する。 SDARは、十分に訓練された自己回帰モデル(AR)を、簡潔でデータ効率のよい適応を通じてブロックワイズ拡散モデルに変換する、軽量なパラダイム変換を実行する。 この知見に基づいて、SDARは最小コストで効率的なAR-拡散変換を実現し、並列生成を可能にしながら、ARレベルのパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2025-10-07T17:29:28Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• SelfAug: Mitigating Catastrophic Forgetting in Retrieval-Augmented Generation via Distribution Self-Alignment [49.86376148975563]
  大規模言語モデル(LLM)は、様々なタスクを理解し実行する能力を通じて自然言語処理に革命をもたらした。 教師付き微調整、特にRetrieval-Augmented Generation (RAG)のシナリオでは、しばしば破滅的な忘れが生じる。 本稿では,モデルのセマンティック分布を保存するために,入力シーケンスロジットをアライメントする自己分布アライメント手法であるSelfAugを提案する。
  論文  参考訳（メタデータ） (2025-09-04T06:50:47Z)
• FedReFT: Federated Representation Fine-Tuning with All-But-Me Aggregation [12.544628972135905]
  本稿では,クライアントの隠れ表現を微調整する新しい手法であるFederated Representation Fine-Tuning(FedReFT)を紹介する。 FedReFTは、隠された表現を直接操作するためにスパース介入層を適用し、軽量でセマンティックにリッチな微調整の代替を提供する。 We evaluate FedReFT on commonsense reasoning, arithmetic reasoning, instruction-tuning, and GLUE。
  論文  参考訳（メタデータ） (2025-08-27T22:03:19Z)
• Heterogeneity-Oblivious Robust Federated Learning [26.32889261841124]
  低ランク適応(LoRA)を中心とした堅牢なフェデレーション学習フレームワークを提案する。 Horusは、堅牢性と正確性の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-08-05T15:47:16Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models [17.873016968298483]
  LoRAのような低ランク適応法は「カタストロフィック継承」を悪化させる Bias-Alleviating Low-Rank Adaptation (BA-LoRA)を紹介する。 以上の結果から,BA-LoRAは性能および安定性の点で最先端のLoRAよりも優れるだけでなく,目標評価に対する頑健性とバイアス軽減の定量的に優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-08T16:13:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。