論文の概要: FedCoT: Federated Chain-of-Thought Distillation for Large Language Models

• arxiv url: http://arxiv.org/abs/2406.12403v2
• Date: Sun, 09 Nov 2025 03:13:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.251352
• Title: FedCoT: Federated Chain-of-Thought Distillation for Large Language Models
• Title（参考訳）: FedCoT: 大規模言語モデルのためのFederated Chain-of-Thought Distillation
• Authors: Tao Fan, Weijing Chen, Yan Kang, Guoqiang Ma, Hanlin Gu, Yuanfeng Song, Lixin Fan, Qiang Yang,
• Abstract要約: 大規模言語モデル (LLMs) は、人工知能においてトランスフォーメーション・フォースとして登場し、様々なタスクにまたがる卓越した習熟を実証している。 小型言語モデル(SLM)は計算効率を提供するが、しばしば性能が低下する。 我々は,LLMからSLMへの知識の蒸留を目的としたフレームワークであるFedCoTを提案する。
• 参考スコア（独自算出の注目度）: 24.624093188197126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have emerged as a transformative force in artificial intelligence, demonstrating exceptional proficiency across various tasks. However, their deployment in resource-constrained environments and concerns over user data privacy pose significant challenges. In contrast, Small Language Models (SLMs) offer computational efficiency but often lag in performance. To address these issues, we propose FedCoT, a federated framework designed for the Chain-of-Thought (CoT) distillation of knowledge from LLMs to SLMs, while ensuring the preservation of clients' data privacy. FedCoT ensures secure and efficient knowledge transfer from an LLM on a high-powered server to an SLM on a resource-constrained client, while adhering to privacy requirements. Leveraging perturbed prompts and rationales generated through the CoT approach, the framework enhances the performance of the client's SLM without compromising user data privacy within a multi-task learning framework. We propose two privacy protection strategies: the Exponential Mechanism Strategy and the Adaptive Exponential Mechanism Strategy, which balance user prompt privacy and the usability of rationales. Empirical evaluation on various text generation tasks demonstrates the effectiveness of FedCoT in training task-specific SLMs with enhanced performance while prioritizing data privacy protection. Our code has been contributed to the FATE open-source project and is now publicly accessible at \textit{https://github.com/FederatedAI/FATE-LLM/tree/main/python/fate_llm/algo/fedcot}
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、人工知能においてトランスフォーメーション・フォースとして登場し、様々なタスクにまたがる卓越した習熟を実証している。 しかしながら、リソースに制約のある環境へのデプロイや、ユーザのデータのプライバシに関する懸念は、大きな課題を引き起こします。 対照的に、Small Language Models (SLM) は計算効率を提供するが、しばしば性能が低下する。 これらの問題に対処するために,クライアントのデータプライバシの保護を確保しつつ,LLMからSLMへの知識の蒸留を目的としたフェデレートフレームワークであるFedCoTを提案する。 FedCoTは、高電力サーバ上のLLMからリソース制約のあるクライアント上のSLMへのセキュアで効率的な知識転送を、プライバシ要件に準拠しながら保証する。 CoTアプローチを通じて生じる混乱したプロンプトと合理性を活用して、マルチタスク学習フレームワーク内のユーザデータのプライバシを損なうことなく、クライアントのSLMのパフォーマンスを向上させる。 本稿では,プライバシ保護戦略として,ユーザのプライバシの促進と合理化のユーザビリティをバランスさせる「指数メカニズム戦略」と「適応指数メカニズム戦略」の2つを提案する。 各種テキスト生成タスクの実証評価は、データプライバシ保護を優先しながら、パフォーマンスを向上したタスク固有のSLMのトレーニングにおけるFedCoTの有効性を示す。 私たちのコードはFATEオープンソースプロジェクトにコントリビュートされ、現在、 \textit{https://github.com/FederatedAI/FATE-LLM/tree/main/python/fate_llm/algo/fedcot}で公開されています。

関連論文リスト

• Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks [63.541114376141735]
  大規模言語モデル(LLM)は、さまざまなアプリケーションシナリオにまたがってインテリジェントな機能を提供しながら、急速に普及しています。 しかし、彼らの共同シナリオにおける実践的なデプロイは、プライバシの脆弱性、通信オーバーヘッド、計算ボトルネックといった根本的な課題に直面します。 我々はフェデレート・アテンション(FedAttn)を提案し、フェデレーション・パラダイムを自己注意機構に統合する。
  論文  参考訳（メタデータ） (2025-11-04T15:14:58Z)
• PrivacyPAD: A Reinforcement Learning Framework for Dynamic Privacy-Aware Delegation [33.37227619820212]
  この問題を解決するために、プライバシPADと呼ばれる新しい強化学習フレームワークを導入する。 我々のフレームワークは、エージェントにテキストチャンクを動的にルーティングするように訓練し、プライバシリークとタスクパフォーマンスのトレードオフを最適にバランスさせるポリシーを学ぶ。 当社のフレームワークは,プライバシ・ユーティリティ・フロンティアにおける新たな最先端を実現する。
  論文  参考訳（メタデータ） (2025-10-16T19:38:36Z)
• PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction [0.7421845364041001]
  非構造化テキストからのPII(Personally Identible Information)のリアクションは、規制されたドメインにおけるデータのプライバシを確保するために重要である。 大規模言語モデル(LLM)の最近の進歩は、有望な代替手段を提供する。 プライバシ保護型PIIリアクションシステムとしてLLMを包括的に分析する。 我々はPRvLをリリースした。PRvLは細調整されたモデルと汎用PIIリアクションのための評価ツールである。
  論文  参考訳（メタデータ） (2025-08-07T16:22:49Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model [0.48342038441006796]
  Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。 FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。 ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
  論文  参考訳（メタデータ） (2025-06-06T00:05:05Z)
• LLM Access Shield: Domain-Specific LLM Framework for Privacy Policy Compliance [2.2022550150705804]
  大規模言語モデル(LLM)は、金融、教育、ガバナンスといった分野でますます適用されてきている。 LLMインタラクションにおけるポリシー遵守とリスク軽減のためのセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-22T07:30:37Z)
• FedSEA-LLaMA: A Secure, Efficient and Adaptive Federated Splitting Framework for Large Language Models [13.304846508027588]
  LLaMA2に基づくセキュアで効率的で適応的なフェデレーション分割フレームワークであるFedSEA-LLaMAを紹介する。 我々は、注意マスク圧縮とKVキャッシュの協調を利用して、通信コストを削減し、トレーニングと推論を加速する。 自然言語理解、要約、会話型QAタスクの実験は、FedSEA-LLaMAが集中型LLaMA2に匹敵するパフォーマンスを維持していることを示している。
  論文  参考訳（メタデータ） (2025-05-21T15:58:08Z)
• PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts [59.5243730853157]
  クラウドサーバにホストされる大規模言語モデル(LLM)は、ローカルデバイス上の計算とストレージの負担を軽減するが、プライバシの懸念を高める。 小規模言語モデル(SLM)は、ローカルで実行されるためプライバシーが向上するが、複雑なタスクではパフォーマンスが制限される。 帯域幅制約下での計算コスト,性能,プライバシ保護のバランスをとるために,プライバシを意識したPWC-MoE(PWC-MoE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:27:07Z)
• Privacy-Preserving Federated Embedding Learning for Localized Retrieval-Augmented Generation [60.81109086640437]
  我々はFedE4RAG(Federated Retrieval-Augmented Generation)と呼ばれる新しいフレームワークを提案する。 FedE4RAGはクライアント側RAG検索モデルの協調トレーニングを容易にする。 モデルパラメータの保護にフェデレート学習の準同型暗号化を適用する。
  論文  参考訳（メタデータ） (2025-04-27T04:26:02Z)
• From Reviews to Dialogues: Active Synthesis for Zero-Shot LLM-based Conversational Recommender System [49.57258257916805]
  大きな言語モデル(LLM)は強力なゼロショットレコメンデーション機能を示している。 現実的なアプリケーションは、スケーラビリティ、解釈可能性、データプライバシの制約により、より小さく、内部的に管理された推奨モデルを好むことが多い。 能動学習技術によって導かれるブラックボックスLSMを利用して,会話学習データを合成する能動データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-21T23:05:47Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 2つの重要な特徴を持つ新しいRECデータセットを導入する。第一に、オブジェクトカテゴリ、属性、関係性に関する詳細な推論を必要とする、制御可能な難易度で設計されている。 第二に、微粒な編集によって生成された否定的なテキストと画像が組み込まれ、既存のターゲットを拒否するモデルの能力を明示的にテストする。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• PPC-GPT: Federated Task-Specific Compression of Large Language Models via Pruning and Chain-of-Thought Distillation [26.127863923240408]
  PPC-GPTは、大規模言語モデルをタスク固有の小言語モデルに圧縮するためのプライバシー保護フレームワークである。 PPC-GPTは競合性能を達成し,データプライバシ保護を優先することを示す。
  論文  参考訳（メタデータ） (2025-02-21T07:32:49Z)
• A General Pseudonymization Framework for Cloud-Based LLMs: Replacing Privacy Information in Controlled Text Generation [0.6699777383856287]
  ChatGPTサービスはクラウドベースの大規模言語モデル(LLM)を活用する プライバシの懸念は、モデルプロバイダによってプロンプトが送信され、処理されるときに生じる。 クラウドベースのLCMに適用可能な一般的な擬似化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-21T06:15:53Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Privacy-Preserving Large Language Models: Mechanisms, Applications, and Future Directions [0.0]
  本調査では,大規模言語モデルに適したプライバシ保護機構の展望について考察する。 メンバーシップ推論やモデル逆転攻撃といった重要なプライバシー問題に対処する上での有効性を検討する。 本稿では、最先端のアプローチと今後のトレンドを合成することによって、堅牢でプライバシーに配慮した大規模言語モデルを構築するための基盤を提供する。
  論文  参考訳（メタデータ） (2024-12-09T00:24:09Z)
• A Practical and Privacy-Preserving Framework for Real-World Large Language Model Services [8.309281698695381]
  大規模言語モデル(LLM)は、テキスト理解と生成において例外的な能力を示した。 個人はしばしばLLM企業が提供するオンラインAI・アズ・ア・サービス(AI)に依存している。 このビジネスモデルは、サービスプロバイダがユーザのトレースパターンや行動データを悪用する可能性があるため、重大なプライバシー上のリスクをもたらす。 本稿では,サービスプロバイダが要求を提出した個人にリンクさせることを防止し,ユーザの匿名性を確保するための実用的かつプライバシ保護フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-03T07:40:28Z)
• Trustworthy AI: Securing Sensitive Data in Large Language Models [0.0]
  大規模言語モデル(LLM)は、堅牢なテキスト生成と理解を可能にすることで自然言語処理(NLP)を変革した。 本稿では, 機密情報の開示を動的に制御するために, 信頼機構をLCMに組み込むための包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-26T19:02:33Z)
• Large Language Models for Base Station Siting: Intelligent Deployment based on Prompt or Agent [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 このアプローチは、人間の経験と知識をこれらの洗練されたLLMに注入するために、巧妙なプロンプトの戦略的利用を必要とする。 この統合は、サービスとしての人工知能(AI)と、より容易なAIの将来のパラダイムを表している。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Large Language Models: A New Approach for Privacy Policy Analysis at Scale [1.7570777893613145]
  本研究は,大規模プライバシポリシから効果的かつ効率的にプライバシプラクティスを抽出する代替手段として,LLM(Large Language Models)の適用を提案する。 我々はChatGPTやLlama 2といった有名なLLMを活用し、プロンプト、パラメータ、モデルの最適設計に関するガイダンスを提供する。 評価では、ドメイン内のいくつかの有名なデータセットをベンチマークとして、その例外的な性能を評価し、F1スコアが93%を超えた。
  論文  参考訳（メタデータ） (2024-05-31T15:12:33Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• A Federated Framework for LLM-based Recommendation [65.12855401912948]
  大規模言語モデル(LLM)は、微調整されたユーザ行動データを通じて生成レコメンデーションシステムに権限を与えている。 ユーザーデータを利用すると、重大なプライバシー上のリスクが発生し、倫理上のジレンマやデータ保護規則違反につながる可能性がある。 プライバシー問題に対処するため、Fed4Rec(Federated Learning for Recommendation)が有望なソリューションとして特定されている。
  論文  参考訳（メタデータ） (2024-02-15T14:09:28Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。