論文の概要: Byzantine-Resilient Federated Large Language Model via Hypergraph Message Passing

• arxiv url: http://arxiv.org/abs/2610.12711v1
• Date: Thu, 08 Oct 2026 20:47:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.281276
• Title: Byzantine-Resilient Federated Large Language Model via Hypergraph Message Passing
• Title（参考訳）: ハイパーグラフ・メッセージ・パッシングによるビザンチン耐性大言語モデル
• Abstract要約: Federated Large Language Models (FedLLMs)は、プライバシ保護と協調的なインテリジェンスを提供することを約束している。 FedLLMは、悪意のあるモデル更新を通じて意味的一貫性と事実的レジリエンスを損なうビザンティン攻撃に対して脆弱である。 本稿では, 意味的に腐敗した知識が, 連合集約中に伝播するのを防ぐ新しいレジリエンス戦略を提案する。
• 参考スコア（独自算出の注目度）: 32.71292554024169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Large Language Models (FedLLMs) are promising to deliver privacy-preserving, collaborative intelligence. The decentralized training process is vulnerable to Byzantine attacks that corrupt semantic consistency and factual resilience through malicious model updates. This paper presents a new resilience strategy that prevents semantically corrupted knowledge from propagating during federated aggregation. A defense problem is formulated to jointly maximize global accuracy and suppress manipulated model updates, enabling trustworthy knowledge aggregation without accessing private local data. To strengthen the resilience of FedLLMs, we develop a novel Hypergraph Message Passing Graph Autoencoder (HMP-GAE) framework, where low-rank model updates are represented as nodes in a hypergraph and high-order semantic relationships among multiple agents are exploited through iterative message passing. By leveraging historical checkpoints and cross-agent relational reasoning, HMP-GAE identifies and suppresses semantically inconsistent updates while preserving knowledge alignment among agents throughout federated training. HMP-GAE is implemented using Qwen-2.5 and Llama-3.2 as pretrained FedLLM backbones and evaluated on AG News and Yahoo! Answers datasets. Compared to existing defenses, HMP-GAE improves global accuracy by $1.21$\%, reduces final-model classification semantic entropy by $44.08$\%, and lowers perplexity by $13.34$\%. HMP-GAE outperforms the GAE-based defense by improving the accuracy $1.39$\%, reducing the semantic entropy by $54.5$\%, and lowering perplexity by $35.5$\%.
• Abstract（参考訳）: Federated Large Language Models (FedLLMs)は、プライバシ保護と協調的なインテリジェンスを提供することを約束している。 分散トレーニングプロセスは、悪意のあるモデル更新を通じて意味的一貫性と事実的レジリエンスを損なうビザンティン攻撃に対して脆弱である。 本稿では, 意味的に腐敗した知識が, 連合集約中に伝播するのを防ぐ新しいレジリエンス戦略を提案する。 防衛問題は、グローバルな精度を最大化し、操作されたモデル更新を抑え、プライベートなローカルデータにアクセスすることなく信頼できる知識集約を可能にする。 FedLLMのレジリエンスを強化するために,HMP-GAE(Hypergraph Message Passing Graph Autoencoder)フレームワークを開発した。 HMP-GAEは,歴史的チェックポイントとエージェント間の関係推論を利用して,エージェント間の知識アライメントを維持しつつ,意味的に一貫性のない更新を識別・抑制する。 HMP-GAEは、事前訓練されたFedLLMバックボーンとしてQwen-2.5とLlama-3.2を使用して実装され、AG NewsとYahoo! Answersデータセットで評価されている。 既存の防衛法と比較して、HMP-GAEはグローバル精度を1.21$\%改善し、最終モデル分類のセマンティックエントロピーを44.08$\%減らし、パープレキシティを13.34$\%減らした。 HMP-GAEは、精度を1.39$\%改善し、セマンティックエントロピーを54.5$\%減らし、パープレキシティを35.5$\%減らし、GAEベースの防御よりも優れている。

関連論文リスト

• A Step Towards Robust Unsupervised Domain Adaptation via Fine-Tuning and Reinforcement Learning [2.436631469537453]
  我々は,2段階の堅牢なUDAフレームワークである textbfSFT+RL を提案し,Supervised Fine Tuning と Reinforcement Learning を統合した。 textbfSFT+RLは、清潔な精度で textbf10.2% を平均的に改善し、textbf15.8% を3つのデータセットで比較した。
  論文  参考訳（メタデータ） (2026-07-03T20:56:12Z)
• Beyond Homophily: Towards Generalized Graph Reconstruction Attack and Defense [80.28330585803133]
  グラフニューラルネットワーク(GNN)は、計算データに広くデプロイされているが、トレーニンググラフの隣接性に関する機密情報やプロプライエタリ情報を漏洩することができる。 本研究は、訓練されたGNNからトレーニング隣接性を再構築するモデル逆転の一形態であるグラフ再構成攻撃(GRA)について研究する。 本稿では, MC-GRA(+)を提案する。これは, GNNにより誘導される表現が対象モデルのそれと一致した代理隣接を最適化することにより, 隣接性を再構築する。 防衛面では, MC-GPB (+) を提案する。
  論文  参考訳（メタデータ） (2026-06-06T09:29:27Z)
• Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
  フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。 グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。 これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。 Byz-Clip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:39:09Z)
• GShield: Mitigating Poisoning Attacks in Federated Learning [2.6260952524631787]
  Federated Learning (FL) は、最近、機械学習モデルを協調訓練するための革命的なアプローチとして登場した。 データプライバシを保護しながら、分散モデルのトレーニングを可能にするが、その分散特性により、Data Poisoningとして知られる深刻な攻撃に対して、非常に脆弱である。 我々はGShieldと呼ばれる新しい防御機構を提案し、悪質で低品質な更新を検知・緩和する。
  論文  参考訳（メタデータ） (2025-12-22T11:29:28Z)
• TrustRAG: Enhancing Robustness and Trustworthiness in Retrieval-Augmented Generation [31.231916859341865]
  TrustRAGは、生成のために取得される前に、悪意のある、無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、検索精度、効率、攻撃抵抗を大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• CONVERT:Contrastive Graph Clustering with Reliable Augmentation [110.46658439733106]
  信頼性オーグメンテーション(CONVERT)を用いたContrastiVe Graph ClustEringネットワークを提案する。 本手法では,データ拡張を可逆的パーターブ・リカバリネットワークにより処理する。 セマンティクスの信頼性をさらに保証するために、ネットワークを制約する新たなセマンティクス損失が提示される。
  論文  参考訳（メタデータ） (2023-08-17T13:07:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。