論文の概要: ProToken: Token-Level Attribution for Federated Large Language Models

• arxiv url: http://arxiv.org/abs/2601.19672v1
• Date: Tue, 27 Jan 2026 14:53:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.353891
• Title: ProToken: Token-Level Attribution for Federated Large Language Models
• Title（参考訳）: ProToken: 大規模言語モデルのためのToken-Level属性
• Authors: Waris Gill, Ahmad Humayun, Ali Anwar, Muhammad Ali Gulzar,
• Abstract要約: フェデレートラーニング(FL)は、プライバシを保持しながら、分散データソースをまたいだ大規模言語モデル(LLM)の協調トレーニングを可能にする。 本稿では,連合LDMにおけるTokenレベルの属性に対する新しいProToken手法を提案する。 我々は、4つのLLMアーキテクチャ(Gemma、Llama、Qwen、SmolLM)と4つのドメイン(医療、金融、数学的、コーディング)にまたがる16の構成でProTokenを評価する。
• 参考スコア（独自算出の注目度）: 9.742900184624371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) enables collaborative training of Large Language Models (LLMs) across distributed data sources while preserving privacy. However, when federated LLMs are deployed in critical applications, it remains unclear which client(s) contributed to specific generated responses, hindering debugging, malicious client identification, fair reward allocation, and trust verification. We present ProToken, a novel Provenance methodology for Token-level attribution in federated LLMs that addresses client attribution during autoregressive text generation while maintaining FL privacy constraints. ProToken leverages two key insights to enable provenance at each token: (1) transformer architectures concentrate task-specific signals in later blocks, enabling strategic layer selection for computational tractability, and (2) gradient-based relevance weighting filters out irrelevant neural activations, focusing attribution on neurons that directly influence token generation. We evaluate ProToken across 16 configurations spanning four LLM architectures (Gemma, Llama, Qwen, SmolLM) and four domains (medical, financial, mathematical, coding). ProToken achieves 98% average attribution accuracy in correctly localizing responsible client(s), and maintains high accuracy when the number of clients are scaled, validating its practical viability for real-world deployment settings.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシを保持しながら、分散データソースをまたいだ大規模言語モデル(LLM)の協調トレーニングを可能にする。 しかし、連合LLMが重要なアプリケーションにデプロイされる場合、どのクライアントが特定のレスポンスに寄与しているか、デバッグの妨げ、悪意のあるクライアントの識別、公正な報酬の割り当て、信頼の検証はいまだに不明である。 本稿では,FLプライバシ制約を維持しつつ,自己回帰テキスト生成時のクライアント属性に対処する,フェデレーション付きLDMにおけるトークンレベルの属性に対する新しいプロベンス手法ProTokenを提案する。 1 トランスフォーマーアーキテクチャは、後続のブロックにタスク固有の信号を集中させ、計算トラクタビリティのための戦略的層選択を可能にし、(2) グラデーションベースの関連性重み付けフィルタは、無関係な神経活性化を排除し、トークン生成に直接影響を及ぼすニューロンへの帰属に焦点を当てる。 我々は,4つのLLMアーキテクチャ(Gemma,Llama,Qwen,SmolLM)と4つのドメイン(医療,金融,数学的,コーディング)にまたがる16の構成でProTokenを評価する。 ProTokenは、責任あるクライアントを正しくローカライズする際の平均属性精度を98%達成し、クライアントの数がスケールされたときに高い精度を維持する。

関連論文リスト

• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• Zero-Knowledge Federated Learning: A New Trustworthy and Privacy-Preserving Distributed Learning Paradigm [12.329085185367637]
  フェデレートラーニング(FL)は、分散機械学習において有望なパラダイムとして登場した。 ZKPは、FLプロセス全体で信頼を確立し、システムの完全性を高めることで、潜在的なソリューションを提供する。 まず、ZKPの技術的役割を分類し分析する構造化ZK-FLフレームワークを提案する。 第2に、ZKPを用いてクライアント選択プロセスを洗練させる新しいアルゴリズム、Veri-CS-FLを導入する。
  論文  参考訳（メタデータ） (2025-03-18T06:21:08Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning [18.422153315741134]
  XCLPは、複数のクライアントのデータからデータグラフを共同で推定し、ラベル情報をグラフ全体に伝播することによりラベル付きデータのラベルを算出する。 クライアントがデータを誰とでも共有することを避けるため、XCLPは2つの暗号的にセキュアなプロトコルを採用している。
  論文  参考訳（メタデータ） (2022-10-12T17:33:47Z)
• DReS-FL: Dropout-Resilient Secure Federated Learning for Non-IID Clients via Secret Data Sharing [7.573516684862637]
  フェデレートラーニング(FL)は、クライアントのプライベートデータを集中的に収集することなく、機械学習モデルの協調トレーニングを可能にする。 本稿では,ラグランジュコンピューティングに基づくDropout-Resilient Secure Federated Learningフレームワークを提案する。 DReS-FLはクライアントのドロップアウトに対して耐性があり、ローカルデータセットのプライバシ保護を提供する。
  論文  参考訳（メタデータ） (2022-10-06T05:04:38Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
  フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。 マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。