論文の概要: FedCoT: Federated Chain-of-Thought Distillation for Large Language Models

• arxiv url: http://arxiv.org/abs/2406.12403v2
• Date: Sun, 09 Nov 2025 03:13:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.251352
• Title: FedCoT: Federated Chain-of-Thought Distillation for Large Language Models
• Title（参考訳）: FedCoT: 大規模言語モデルのためのFederated Chain-of-Thought Distillation
• Authors: Tao Fan, Weijing Chen, Yan Kang, Guoqiang Ma, Hanlin Gu, Yuanfeng Song, Lixin Fan, Qiang Yang,
• Abstract要約: 大規模言語モデル (LLMs) は、人工知能においてトランスフォーメーション・フォースとして登場し、様々なタスクにまたがる卓越した習熟を実証している。 小型言語モデル(SLM)は計算効率を提供するが、しばしば性能が低下する。 我々は,LLMからSLMへの知識の蒸留を目的としたフレームワークであるFedCoTを提案する。
• 参考スコア（独自算出の注目度）: 24.624093188197126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have emerged as a transformative force in artificial intelligence, demonstrating exceptional proficiency across various tasks. However, their deployment in resource-constrained environments and concerns over user data privacy pose significant challenges. In contrast, Small Language Models (SLMs) offer computational efficiency but often lag in performance. To address these issues, we propose FedCoT, a federated framework designed for the Chain-of-Thought (CoT) distillation of knowledge from LLMs to SLMs, while ensuring the preservation of clients' data privacy. FedCoT ensures secure and efficient knowledge transfer from an LLM on a high-powered server to an SLM on a resource-constrained client, while adhering to privacy requirements. Leveraging perturbed prompts and rationales generated through the CoT approach, the framework enhances the performance of the client's SLM without compromising user data privacy within a multi-task learning framework. We propose two privacy protection strategies: the Exponential Mechanism Strategy and the Adaptive Exponential Mechanism Strategy, which balance user prompt privacy and the usability of rationales. Empirical evaluation on various text generation tasks demonstrates the effectiveness of FedCoT in training task-specific SLMs with enhanced performance while prioritizing data privacy protection. Our code has been contributed to the FATE open-source project and is now publicly accessible at \textit{https://github.com/FederatedAI/FATE-LLM/tree/main/python/fate_llm/algo/fedcot}
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、人工知能においてトランスフォーメーション・フォースとして登場し、様々なタスクにまたがる卓越した習熟を実証している。 しかしながら、リソースに制約のある環境へのデプロイや、ユーザのデータのプライバシに関する懸念は、大きな課題を引き起こします。 対照的に、Small Language Models (SLM) は計算効率を提供するが、しばしば性能が低下する。 これらの問題に対処するために,クライアントのデータプライバシの保護を確保しつつ,LLMからSLMへの知識の蒸留を目的としたフェデレートフレームワークであるFedCoTを提案する。 FedCoTは、高電力サーバ上のLLMからリソース制約のあるクライアント上のSLMへのセキュアで効率的な知識転送を、プライバシ要件に準拠しながら保証する。 CoTアプローチを通じて生じる混乱したプロンプトと合理性を活用して、マルチタスク学習フレームワーク内のユーザデータのプライバシを損なうことなく、クライアントのSLMのパフォーマンスを向上させる。 本稿では,プライバシ保護戦略として,ユーザのプライバシの促進と合理化のユーザビリティをバランスさせる「指数メカニズム戦略」と「適応指数メカニズム戦略」の2つを提案する。 各種テキスト生成タスクの実証評価は、データプライバシ保護を優先しながら、パフォーマンスを向上したタスク固有のSLMのトレーニングにおけるFedCoTの有効性を示す。 私たちのコードはFATEオープンソースプロジェクトにコントリビュートされ、現在、 \textit{https://github.com/FederatedAI/FATE-LLM/tree/main/python/fate_llm/algo/fedcot}で公開されています。

関連論文リスト

• PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction [0.7421845364041001]
  非構造化テキストからのPII(Personally Identible Information)のリアクションは、規制されたドメインにおけるデータのプライバシを確保するために重要である。 大規模言語モデル(LLM)の最近の進歩は、有望な代替手段を提供する。 プライバシ保護型PIIリアクションシステムとしてLLMを包括的に分析する。 我々はPRvLをリリースした。PRvLは細調整されたモデルと汎用PIIリアクションのための評価ツールである。
  論文  参考訳（メタデータ） (2025-08-07T16:22:49Z)
• LLM Access Shield: Domain-Specific LLM Framework for Privacy Policy Compliance [2.2022550150705804]
  大規模言語モデル(LLM)は、金融、教育、ガバナンスといった分野でますます適用されてきている。 LLMインタラクションにおけるポリシー遵守とリスク軽減のためのセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-22T07:30:37Z)
• From Reviews to Dialogues: Active Synthesis for Zero-Shot LLM-based Conversational Recommender System [49.57258257916805]
  大きな言語モデル(LLM)は強力なゼロショットレコメンデーション機能を示している。 現実的なアプリケーションは、スケーラビリティ、解釈可能性、データプライバシの制約により、より小さく、内部的に管理された推奨モデルを好むことが多い。 能動学習技術によって導かれるブラックボックスLSMを利用して,会話学習データを合成する能動データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-21T23:05:47Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 2つの重要な特徴を持つ新しいRECデータセットを導入する。第一に、オブジェクトカテゴリ、属性、関係性に関する詳細な推論を必要とする、制御可能な難易度で設計されている。 第二に、微粒な編集によって生成された否定的なテキストと画像が組み込まれ、既存のターゲットを拒否するモデルの能力を明示的にテストする。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• PPC-GPT: Federated Task-Specific Compression of Large Language Models via Pruning and Chain-of-Thought Distillation [26.127863923240408]
  PPC-GPTは、大規模言語モデルをタスク固有の小言語モデルに圧縮するためのプライバシー保護フレームワークである。 PPC-GPTは競合性能を達成し,データプライバシ保護を優先することを示す。
  論文  参考訳（メタデータ） (2025-02-21T07:32:49Z)
• A General Pseudonymization Framework for Cloud-Based LLMs: Replacing Privacy Information in Controlled Text Generation [0.6699777383856287]
  ChatGPTサービスはクラウドベースの大規模言語モデル(LLM)を活用する プライバシの懸念は、モデルプロバイダによってプロンプトが送信され、処理されるときに生じる。 クラウドベースのLCMに適用可能な一般的な擬似化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-21T06:15:53Z)
• Privacy-Preserving Large Language Models: Mechanisms, Applications, and Future Directions [0.0]
  本調査では,大規模言語モデルに適したプライバシ保護機構の展望について考察する。 メンバーシップ推論やモデル逆転攻撃といった重要なプライバシー問題に対処する上での有効性を検討する。 本稿では、最先端のアプローチと今後のトレンドを合成することによって、堅牢でプライバシーに配慮した大規模言語モデルを構築するための基盤を提供する。
  論文  参考訳（メタデータ） (2024-12-09T00:24:09Z)
• A Practical and Privacy-Preserving Framework for Real-World Large Language Model Services [8.309281698695381]
  大規模言語モデル(LLM)は、テキスト理解と生成において例外的な能力を示した。 個人はしばしばLLM企業が提供するオンラインAI・アズ・ア・サービス(AI)に依存している。 このビジネスモデルは、サービスプロバイダがユーザのトレースパターンや行動データを悪用する可能性があるため、重大なプライバシー上のリスクをもたらす。 本稿では,サービスプロバイダが要求を提出した個人にリンクさせることを防止し,ユーザの匿名性を確保するための実用的かつプライバシ保護フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-03T07:40:28Z)
• Large Language Models for Base Station Siting: Intelligent Deployment based on Prompt or Agent [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 このアプローチは、人間の経験と知識をこれらの洗練されたLLMに注入するために、巧妙なプロンプトの戦略的利用を必要とする。 この統合は、サービスとしての人工知能(AI)と、より容易なAIの将来のパラダイムを表している。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Large Language Models: A New Approach for Privacy Policy Analysis at Scale [1.7570777893613145]
  本研究は,大規模プライバシポリシから効果的かつ効率的にプライバシプラクティスを抽出する代替手段として,LLM(Large Language Models)の適用を提案する。 我々はChatGPTやLlama 2といった有名なLLMを活用し、プロンプト、パラメータ、モデルの最適設計に関するガイダンスを提供する。 評価では、ドメイン内のいくつかの有名なデータセットをベンチマークとして、その例外的な性能を評価し、F1スコアが93%を超えた。
  論文  参考訳（メタデータ） (2024-05-31T15:12:33Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。