論文の概要: Edge-FIT: Federated Instruction Tuning of Quantized LLMs for Privacy-Preserving Smart Home Environments

• arxiv url: http://arxiv.org/abs/2510.03284v1
• Date: Sun, 28 Sep 2025 20:06:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:58.646724
• Title: Edge-FIT: Federated Instruction Tuning of Quantized LLMs for Privacy-Preserving Smart Home Environments
• Title（参考訳）: Edge-FIT:プライバシ保護型スマートホーム環境のための量子LDMのフェデレーションインストラクションチューニング
• Authors: Vinay Venkatesh, Vamsidhar R Kamanuru, Lav Kumar, Nikita Kothari,
• Abstract要約: 本稿では,大規模言語モデル(LLM)のFIT(Federated Instruction Tuning)のためのスケーラブルなフレームワークを提案する。 当社のEdge-FITフレームワークは,フェデレーション学習と4ビット量子化低ランク適応(QLORA)を組み合わせたものです。 私たちは、IoTドメイン用の汎用Databricks Dolly 15kデータセットをフィルタリングすることで、これを実証します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes Edge-FIT (Federated Instruction Tuning on the Edge), a scalable framework for Federated Instruction Tuning (FIT) of Large Language Models (LLMs). Traditional Federated Learning (TFL) methods, like FedAvg, fail when confronted with the massive parameter size of LLMs [3], [6]. Our Edge-FIT framework combines federated learning with 4-bit Quantized Low-Rank Adaptation (QLORA), mitigating the core issues of communication and computational overhead. We demonstrate this by filtering the general-purpose Databricks Dolly 15k dataset for the IoT domain. Experimental results show the Edge-FIT tuned Llama 2(7B) achieves an F1-Score of 0.89. We also demonstrate a viable trade-off using the 3.8B Phi-3-mini model, validating Edge-FIT as a scalable framework for decentralized LLM deployment on home compute gateways.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)のFIT(Federated Instruction Tuning on the Edge)のためのスケーラブルなフレームワークであるEdge-FITを提案する。 従来のフェデレートラーニング(TFL)メソッドは、FedAvgのように、LLMの巨大なパラメータサイズに直面すると失敗します [3], [6]。 当社のEdge-FITフレームワークは、フェデレートラーニングと4ビット量子化低ランク適応(QLORA)を組み合わせることで、通信と計算オーバーヘッドの中核的な問題を緩和します。 私たちは、IoTドメイン用の汎用Databricks Dolly 15kデータセットをフィルタリングすることで、これを実証します。 実験の結果、Edge-FITチューンされたLlama 2(7B)はF1スコア0.89を達成した。 また,3.8B Phi-3-miniモデルを用いて,ホームコンピューティングゲートウェイ上での分散LLMデプロイメントのためのスケーラブルなフレームワークとしてEdge-FITを検証する。

関連論文リスト

• Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation [56.36237936346563]
  ファンデーションモデル(FM)は顕著な一般化を示すが、下流のタスクに適応する必要がある。 データプライバシー規制のため、クラウドベースのFMはプライベートエッジデータに直接アクセスできない。 エッジデバイスがラベルのない低解像度のデータのみを保持する実践的セミスーパービジョン・フェデレーションラーニング(PSSFL)を導入する。 我々の研究は、フェデレートされたシナリオにおけるスケーラブルでプライバシ保護のFM適応の道を開いた。
  論文  参考訳（メタデータ） (2025-08-22T17:47:02Z)
• FedSODA: Federated Fine-tuning of LLMs via Similarity Group Pruning and Orchestrated Distillation Alignment [8.545353534117735]
  大規模言語モデル(LLM)のFFT(Federated Fine-tuning)は、ドメイン固有の適応を可能にする有望なソリューションとして最近登場した。 本稿では,リソース効率の高いFFTフレームワークであるFedSODAについて述べる。
  論文  参考訳（メタデータ） (2025-08-18T08:49:32Z)
• Problem Solved? Information Extraction Design Space for Layout-Rich Documents using LLMs [1.338174941551702]
  本稿では,大規模言語モデル(LLM)を用いたレイアウトリッチドキュメントからの情報抽出のための設計空間を定義し,検討する。 本研究では,入力表現,チャンキング,プロンプト,LLMの選択,マルチモーダルモデルなど,これらのコア課題におけるサブプロブレムと手法について検討する。 LayIE-LLM(LayIE-LLM)は、オープンソースのレイアウト対応IEテストスイートである。
  論文  参考訳（メタデータ） (2025-02-25T13:11:53Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Federated Split Learning with Only Positive Labels for resource-constrained IoT environment [4.055662817794178]
  分散コラボレーティブ機械学習(DCML)は、ディープラーニングモデルをトレーニングするためのIoT(Internet of Things)ドメインにおいて、有望な方法である。 分割学習 (SFL) は, デバイスが限られた計算能力を持つ場合に, 効率的な学習とテストに最も適している。 SFPLは、リソース制約のIoTデバイスが正のラベル付きデータしか持たない場合、SFLよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-25T05:33:06Z)
• Towards Building the Federated GPT: Federated Instruction Tuning [66.7900343035733]
  本稿では,大規模言語モデル(LLM)の命令チューニングのための学習フレームワークとして,FedIT(Federated Instruction Tuning)を紹介する。 我々は,FedITを用いてクライアントの終端における多種多様な命令セットを活用することにより,ローカル命令のみを限定した集中学習に比べ,LLMの性能を向上させることを実証した。
  論文  参考訳（メタデータ） (2023-05-09T17:42:34Z)
• FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
  フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。 既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。 本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2020-12-06T15:46:04Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。