Fugu-MT 論文翻訳(概要): TSFLora: Token-Compressed Split Fine-Tuning for Wireless Edge Networks

論文の概要: TSFLora: Token-Compressed Split Fine-Tuning for Wireless Edge Networks

arxiv url: http://arxiv.org/abs/2605.23988v1
Date: Sun, 17 May 2026 08:50:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-26 19:50:17.44144
Title: TSFLora: Token-Compressed Split Fine-Tuning for Wireless Edge Networks
Title（参考訳）: TSFLora:ワイヤレスエッジネットワークのためのトーケン圧縮スプリットファインタニング
Authors: Xianke Qiang, Zheng Chang, Li Wang, Ying-Chang Liang,
Abstract要約: TSFLoraは、エッジでの通信効率の高いLAM適応のためのトークン圧縮スプリット微調整フレームワークである。 TSFLoraは、注意誘導型トークン選択、トークンマージ、低ビットアクティベーション量子化、LoRAベースの適応を、分割されたフェデレーショントレーニングパイプライン内で組み合わせる。
参考スコア（独自算出の注目度）: 41.95924024036396
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adapting large AI models (LAMs) to personalized edge data is challenging because wireless devices have limited memory, computation, and uplink capacity. Federated fine-tuning preserves data privacy but still requires each device to host the full model, while split learning reduces device memory at the cost of heavy activation transmission. This paper proposes TSFLora, a token-compressed split fine-tuning framework for communication-efficient LAM adaptation at the edge. TSFLora combines attention-guided token selection, token merging, low-bit activation quantization, and LoRA-based adaptation within a split federated training pipeline. The key idea is to compress the intermediate token sequence before transmission so that the system reduces both uplink traffic and server-side processing without changing the frozen backbone. Experiments on ViT models over CIFAR-10, CIFAR-100, and TinyImageNet show that TSFLora achieves up to \textbf{6.8$\times$} communication reduction and \textbf{41\%} memory saving while maintaining competitive accuracy.
Abstract（参考訳）: 大規模AIモデル(LAM)をパーソナライズされたエッジデータに適応させることは、無線デバイスがメモリ、計算、アップリンク能力に制限があるため、難しい。フェデレートされた微調整はデータのプライバシを保存するが、それでも各デバイスが完全なモデルをホストする必要がある。本稿では,トークン圧縮スプリット微調整フレームワークTSFLoraを提案する。 TSFLoraは、注意誘導型トークン選択、トークンマージ、低ビットアクティベーション量子化、LoRAベースの適応を、分割されたフェデレーショントレーニングパイプライン内で組み合わせる。鍵となる考え方は、送信前に中間トークンシーケンスを圧縮して、凍結したバックボーンを変更することなく、アップリンクトラフィックとサーバ側処理の両方を削減することである。 CIFAR-10、CIFAR-100、TinyImageNetによるViTモデルの実験では、TSFLoraは競合精度を維持しつつ、通信量削減とメモリ節約を達成している。

関連論文リスト

Privacy-Preserving Federated Action Recognition via Differentially Private Selective Tuning and Efficient Communication [25.243649529257052]
フェデレートされたビデオ行動認識は、生のビデオデータを共有せずに協調的なモデルトレーニングを可能にする。差分プライバシー(DP)の下でタスク関連レイヤを選択的に微調整し摂動するtextitFedDP-STECAR フレームワークを提案する。集約中に調整されたレイヤのみを送信することで、フルモデル更新と比較して通信トラフィックは99%以上削減される。
論文参考訳（メタデータ） (2026-03-22T16:05:14Z)
Why Should the Server Do It All?: A Scalable, Versatile, and Model-Agnostic Framework for Server-Light DNN Inference over Massively Distributed Clients via Training-Free Intermediate Feature Compression [6.932768187544348]
スプリットコンピューティングにおける通信負荷とサーバ負荷の両方を削減するためにIFを圧縮する、リトレーニングフリーでアーキテクチャに依存しないフレームワークであるSLICERを紹介した。標準的なビジョンとLLMワークロード全体にわたって、SLICERはアップリンクボリュームを最大10倍、サーバGPU時間を最大4.4倍削減する。
論文参考訳（メタデータ） (2025-11-03T08:44:13Z)
Federated Split Learning with Improved Communication and Storage Efficiency [9.277834710955766]
フェデレーテッド・ラーニング(FL)は、一般的な分散機械学習(ML)ソリューションの1つだが、エッジデバイスにおける通信と計算のコストがかなり高い。本稿では,サーバに単一モデルを保持しながらクライアントをローカルに更新する補助ネットワークを利用した,新しい通信・記憶効率の高いフェデレーション分割学習手法であるCSE-FSLを提案する。
論文参考訳（メタデータ） (2025-07-21T17:21:16Z)
Model Parallelism With Subnetwork Data Parallelism [21.914077370806016]
大規模な大規模ニューラルネットワークの事前トレーニングは、アクセラレータに大量のメモリ要求を課し、しばしば高価な通信を必要とする。本稿では,分散トレーニングフレームワークであるSubnetwork Data Parallelism(SDP)を紹介する。本研究では,不偏勾配を維持するために下位段階のみに空間性を適用した後方マスキングと,前方パスのパラメータを除去してより高効率なゲインを実現する前方マスキングの2つの相補的なマスキング方式について検討する。
論文参考訳（メタデータ） (2025-07-11T21:25:11Z)
Sparse-Tuning: Adapting Vision Transformers with Efficient Fine-tuning and Inference [14.030836300221756]
textbfSparse-Tuningは、画像やビデオの情報冗長性を考慮に入れた新しいPEFTメソッドである。 Sparse-Tuningは各層で処理されるトークンの量を最小限に抑え、計算とメモリのオーバーヘッドを2次的に削減する。我々のSparse-TuningはGFLOPsを62%-70%に削減し,最先端性能を実現した。
論文参考訳（メタデータ） (2024-05-23T15:34:53Z)
Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文参考訳（メタデータ） (2023-12-23T07:47:07Z)
Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文参考訳（メタデータ） (2023-05-15T22:04:49Z)
An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文参考訳（メタデータ） (2022-01-09T09:31:50Z)
A Joint Energy and Latency Framework for Transfer Learning over 5G Industrial Edge Networks [53.26338041079138]
5G産業エッジネットワークのための転送学習対応エッジCNNフレームワークを提案する。特に、エッジサーバは、既存の画像データセットを使用してcnnを事前トレーニングすることができる。 TLの助けを借りて、トレーニングに参加していないデバイスは、訓練されたエッジCNNモデルをスクラッチからトレーニングせずに微調整するだけです。
論文参考訳（メタデータ） (2021-04-19T15:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。