論文の概要: FED-FSTQ: Fisher-Guided Token Quantization for Communication-Efficient Federated Fine-Tuning of LLMs on Edge Devices

• arxiv url: http://arxiv.org/abs/2604.25421v1
• Date: Tue, 28 Apr 2026 09:29:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.797305
• Title: FED-FSTQ: Fisher-Guided Token Quantization for Communication-Efficient Federated Fine-Tuning of LLMs on Edge Devices
• Title（参考訳）: FED-FSTQ:エッジデバイス上でのLLMの通信効率向上のための釣りガイド型トークン量子化
• Authors: Changyu Li, Shuanghong Huang, Jiashen Liu, Ming Lei, Jidu Xing, Kaishun Wu, Lu Wang, Fei Luo,
• Abstract要約: フェデレートされた微調整は、プライベートデータを集中することなく、エッジデバイスに大規模言語モデル(LLM)を適用する実践的な方法を提供する。 我々は,Fed-FSTQを提案する。Fed-FSTQは,通信効率のよいLLMファインチューニングのための,フィッシャー誘導型トークン量子化システムプリミティブである。 また,Fed-FSTQは,標準のLORAベースラインに対して,固定品質閾値に達するために必要な累積アップリンクトラフィックを46倍に削減し,エンドツーエンドのウォール・ツー・タイムの精度を52%向上させることを示した。
• 参考スコア（独自算出の注目度）: 12.523170571488711
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated fine-tuning provides a practical route to adapt large language models (LLMs) on edge devices without centralizing private data, yet in mobile deployments the training wall-clock is often bottlenecked by straggler-limited uplink communication under heterogeneous bandwidth and intermittent participation. Although parameter-efficient fine-tuning (PEFT) reduces trainable parameters, per-round payloads remain prohibitive in non-IID regimes, where uniform compression can discard rare but task-critical signals. We propose Fed-FSTQ, a Fisher-guided token quantization system primitive for communication-efficient federated LLM fine-tuning. Fed-FSTQ employs a lightweight Fisher proxy to estimate token sensitivity, coupling importance-aware token selection with non-uniform mixed-precision quantization to allocate higher fidelity to informative evidence while suppressing redundant transmission. The method is model-agnostic, serves as a drop-in module for standard federated PEFT pipelines, e.g., LoRA, without modifying the server aggregation rule, and supports bandwidth-heterogeneous clients via compact sparse message packing. Experiments on multilingual QA and medical QA under non-IID partitions show that Fed-FSTQ reduces cumulative uplink traffic required to reach a fixed quality threshold by 46x relative to a standard LoRA baseline, and improves end-to-end wall-clock time-to-accuracy by 52%. Furthermore, enabling Fisher-guided token reduction at inference yields up to a 1.55x end-to-end speedup on NVIDIA Jetson-class edge devices, demonstrating deployability under tight resource constraints.
• Abstract（参考訳）: フェデレートされた微調整は、プライベートデータを集中化せずにエッジデバイスに大規模な言語モデル(LLM)を適用する実践的な方法を提供するが、モバイルデプロイメントでは、不均一な帯域幅と断続的な参加の下で、ストラグラーに制限されたアップリンク通信によってしばしばボトルネックとなる。 パラメータ効率のよい微調整(PEFT)はトレーニング可能なパラメータを減少させるが、単位単位のペイロードは非IID状態では禁じられる。 我々は,Fed-FSTQを提案する。Fed-FSTQは,通信効率のよいLLMファインチューニングのための,フィッシャー誘導型トークン量子化システムプリミティブである。 Fed-FSTQは、トークンの感度を推定するために軽量なFisherプロキシを使用し、非一様混合精度量子化によるトークン選択を結合し、冗長な送信を抑えながら情報的証拠に高い忠実度を割り当てる。 本手法は,サーバアグリゲーションルールを変更することなく,標準的なPEFTパイプライン,例えばLoRAのドロップインモジュールとして機能し,コンパクトなスパースメッセージパッキングによる帯域幅不均一なクライアントをサポートする。 非IID分割条件下での多言語QAおよび医療QA実験により、Fed-FSTQは標準のLORAベースラインに比べて46倍の品質閾値に達するのに必要な累積的なアップリンクトラフィックを減少させ、エンドツーエンドのウォール・ツー・タイムの精度を52%向上させることが示された。 さらに、推論におけるフィッシャー誘導トークンの削減を可能にすると、NVIDIA Jetsonクラスのエッジデバイス上でのエンドツーエンドのスピードアップが最大1.55倍になり、厳しいリソース制約下でのデプロイ可能性を示す。

関連論文リスト

• WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
  WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
  論文  参考訳（メタデータ） (2026-04-20T01:29:56Z)
• A Zero Added Loss Multiplexing (ZALM) Source Simulation [34.91883081037593]
  本稿では,設計選択が出力率と忠実度にどのように影響するかを示すモジュール型ZALMシミュレータを提案する。 I/Rコントローラを備えたNetSquidで構築され、20以上のパラメータを公開し、I/RおよびREALISTICモードをサポートし、再利用可能なコンポーネントを提供する。 デフォルト設定を使用すると、平均フィデリティは0.8で一定であるが、ソースで0.0075から50kmで0.0に減少し、SPDC縮退帯域幅を狭めることで、フィデリティに影響を与えることなくビットレートが大幅に増加する。
  論文  参考訳（メタデータ） (2025-10-29T22:41:40Z)
• Network-Optimised Spiking Neural Network for Event-Driven Networking [2.5941336499463383]
  スパイキングニューラルネットワークは、異常検出、ローカルルーティング制御、エッジでの混雑管理など、時間クリティカルなネットワークタスクに適したイベント駆動型計算を提供する。 本稿では,正規化された待ち行列の占有状態と回復資源を符号化したコンパクトな2変数ユニットであるNetwork-Optimized Spiking (NOS)を紹介する。 我々は、データ駆動初期化、リセットシャープネスに基づくホモトピーによる代理段階トレーニング、リソース制約されたデプロイメントのための境界のトポロジによる明確な安定性チェックのガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-09-27T22:31:24Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
  本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-03-17T08:37:22Z)
• Efficient Deployment of Large Language Models on Resource-constrained Devices [12.644230479753476]
  様々な下流タスクのために、リソース制約されたデバイス上でLLM(Large Language Models)を微調整する必要がある。 FedSpineは、PEFT(Efficient Fine-Tuning)と構造化プルーニングを組み合わせたフレームワークで、リソース制約のあるデバイスにLLMを効率的にデプロイする。 我々はFedSpineが1.4Times$$$timesで微調整を高速化し、最終的な精度を他のベースラインと比べて同じ間隔で0.4%-4.5%向上できることを示した。
  論文  参考訳（メタデータ） (2025-01-05T04:38:11Z)
• Hierarchical Federated Learning in Wireless Networks: Pruning Tackles Bandwidth Scarcity and System Heterogeneity [32.321021292376315]
  我々はヘテロジニアスネットワーク(HetNets)におけるプルーニング可能な階層型フェデレーションラーニング(PHFL)を提案する。 まず、モデルプルーニングと無線通信の影響を明確に示す収束率の上限を導出する。 提案するPHFLアルゴリズムの有効性を,テスト精度,壁面時計時間,エネルギー消費,帯域幅要件の観点から検証した。
  論文  参考訳（メタデータ） (2023-08-03T07:03:33Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Quantized Federated Learning under Transmission Delay and Outage Constraints [30.892724364965005]
  フェデレートラーニング(Federated Learning)は、無線エッジ内の巨大なモバイルデバイスと協調して機械学習モデルをトレーニングする、実行可能な分散学習パラダイムである。 無線リソースが限られている実用的なシステムでは、多数のモデルパラメータの送信は量子化エラー(QE)と送信停止(TO)に必然的に悩まされる。 我々は,無線リソースと量子化ビットをクライアント間で共同で割り当て,QEを最小化するとともに,クライアントがTO確率を持つようにする,堅牢なFLスキームFedTOEを提案する。
  論文  参考訳（メタデータ） (2021-06-17T11:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。