論文の概要: Graph Representation Learning Augmented Model Manipulation on Federated Fine-Tuning of LLMs

• arxiv url: http://arxiv.org/abs/2605.07961v1
• Date: Fri, 08 May 2026 16:24:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.198382
• Title: Graph Representation Learning Augmented Model Manipulation on Federated Fine-Tuning of LLMs
• Title（参考訳）: LLMのFederated Fine-Tuningにおけるグラフ表現学習強化モデルマニピュレーション
• Authors: Hanlin Cai, Kai Li, Houtianfu Wang, Haofan Dong, Yichen Li, Falko Dressler, Ozgur B. Akan,
• Abstract要約: Federated Fine-tuning (FFT)は、大規模言語モデル(LLM)を協調的に適応するためのプライバシー保護パラダイムとして登場した。 本稿では,FFT ベースの LLM に対する AugMP (Augmented Model ManiPulation) 戦略を提案する。
• 参考スコア（独自算出の注目度）: 15.877518142616927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated fine-tuning (FFT) has emerged as a privacy-preserving paradigm for collaboratively adapting large language models (LLMs). Built upon federated learning, FFT enables distributed agents to jointly refine a shared pretrained LLM by aggregating local LLM updates without sharing local raw data. However, FFT-based LLMs remain vulnerable to model manipulation threats, in which adversarial participants upload manipulated LLM updates that corrupt the aggregation process and degrade the performance of the global LLM. In this paper, we propose an Augmented Model maniPulation (AugMP) strategy against FFT-based LLMs. Specifically, we design a novel graph representation learning framework that captures feature correlations among benign LLM updates to guide the generation of malicious updates. To enhance manipulation effectiveness and stealthiness, we develop an iterative manipulation algorithm based on an augmented Lagrangian dual formulation. Through this formulation, malicious updates are optimized to embed adversarial objectives while preserving benign-like parameter characteristics. Experimental results across multiple LLM backbones demonstrate that the AugMP strategy achieves the strongest manipulation performance among all competing baselines, reducing the global LLM accuracy by up to 26% and degrading the average accuracy of local LLM agents by up to 22%. Meanwhile, AugMP maintains high statistical and geometric consistency with benign updates, enabling it to evade conventional distance- and similarity-based defense methods.
• Abstract（参考訳）: Federated Fine-tuning (FFT)は、大きな言語モデル(LLM)を協調的に適応するためのプライバシー保護パラダイムとして登場した。 フェデレートラーニングに基づいて構築されたFFTは、分散エージェントがローカルな生データを共有せずにローカルなLLM更新を集約することにより、共有事前学習LLMを共同で洗練することを可能にする。 しかし FFT ベースの LLM は、敵の参加者が操作された LLM の更新をアップロードし、集約プロセスを悪化させ、グローバル LLM の性能を低下させる、モデル操作の脅威に対して脆弱なままである。 本稿では,FFT ベースの LLM に対する AugMP (Augmented Model ManiPulation) 戦略を提案する。 具体的には、悪質な更新の発生を導くために、良質なLLM更新間の特徴相関をキャプチャする新しいグラフ表現学習フレームワークを設計する。 操作効率とステルス性を向上させるため,拡張ラグランジアン双対定式化に基づく反復的操作アルゴリズムを開発した。 この定式化により、悪意のある更新は、良性的なパラメータ特性を保持しながら、敵の目的を埋め込むように最適化される。 複数のLDMバックボーンにまたがる実験結果から,AugMP戦略は全ての競合するベースラインにおいて最強の操作性能を達成し,グローバルLSMの精度を最大26%低下させ,ローカルLSMエージェントの平均精度を最大22%低下させることを示した。 一方、AugMPは良性更新と高い統計的および幾何学的整合性を維持しており、従来の距離と類似性に基づく防御方法を回避することができる。

関連論文リスト

• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• FDLLM: A Dedicated Detector for Black-Box LLMs Fingerprinting [20.07438999071414]
  大規模言語モデル(LLM)は、デジタルコンテンツ作成の風景を急速に変えつつある。 FD-Datasetは、20の有名なプロプライエタリおよびオープンソースLLMから90,000のテキストサンプルからなる総合的なバイリンガルフィンガープリントベンチマークである。 また,パラメータ効率の低いLow-Rank Adaptation (LoRA) を利用して基礎モデルの微調整を行う新しいフィンガープリント手法であるFDLLMを提案する。
  論文  参考訳（メタデータ） (2025-01-27T13:18:40Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。