論文の概要: PFedQFT: Personalized Federated Quantum-Inspired Fine-Tuning for Medical Large Language Models
- arxiv url: http://arxiv.org/abs/2610.25712v1
- Date: Mon, 19 Oct 2026 03:01:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 12:10:34.300032
- Title: PFedQFT: Personalized Federated Quantum-Inspired Fine-Tuning for Medical Large Language Models
- Title（参考訳）: PFedQFT:医療用大規模言語モデルのための個人化量子インスパイアされた微細チューニング
- Abstract要約: フェデレートラーニング(Federated Learning)は、医療機関が生記録を転送することなく、大規模言語モデル(LLM)を協調的に適応させることを可能にする。
PFedQFTは、コンパクトな共用アダプタを用いたパーソナライズされたファインタニングのための量子インスパイアされたフレームワークである。
- 参考スコア（独自算出の注目度）: 6.449307474436842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical data remain fragmented across institutional silos because of privacy, governance, and ownership constraints. Federated learning enables medical institutions to adapt large language models (LLMs) collaboratively without transferring raw records. However, independently parameterized low-rank adapters incur repeated parameter and communication costs across Transformer projections, while uniform aggregation may limit adaptation to heterogeneous institutional data. We propose PFedQFT, a quantum-inspired framework for personalized federated fine-tuning with a compact shared adapter. Specifically, PFedQFT constructs reusable orthonormal adaptation bases from compact skew-symmetric generators using a truncated matrix-exponential approximation followed by QR orthonormalization. Compatible projections reuse these bases, while a globally shared full core preserves the flexibility of each projection. Each client further maintains a lightweight private residual operator, whose directions are learned globally and whose coefficients remain local. Experiments on seven public medical tasks and multiple LLM backbones show substantial reductions in trainable parameters and per-round adapter upload volume, with competitive predictive performance on most tasks.
- Abstract（参考訳）: 医療データは、プライバシ、ガバナンス、所有権の制約のために、機関のサイロで断片化されている。
フェデレートラーニング(Federated Learning)は、医療機関が生記録を転送することなく、大規模言語モデル(LLM)を協調的に適応させることを可能にする。
しかし、独立にパラメータ化された低ランクアダプタはトランスフォーマープロジェクション間の繰り返しパラメータと通信コストを発生させるが、均一なアグリゲーションは異種制度データへの適応を制限する可能性がある。
PFedQFTは、コンパクトな共用アダプタを用いたパーソナライズされたファインタニングのための量子インスパイアされたフレームワークである。
具体的には、PFedQFTは、truncated matrix-exponential approximation を用いてコンパクトなスキュー対称ジェネレータから再利用可能な正則適応ベースを構築し、QR正規化を行う。
互換性のあるプロジェクションはこれらのベースを再利用し、グローバルに共有されたフルコアは各プロジェクションの柔軟性を保持する。
各クライアントは、世界規模で学習され、係数が局所的に残る軽量なプライベート残余演算子をさらに維持する。
7つの公的な医療タスクと複数のLCMバックボーンの実験では、トレーニング可能なパラメータとラウンドごとのアダプタアップロードボリュームが大幅に削減され、ほとんどのタスクで競合予測性能が向上した。
関連論文リスト
- Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients [22.724544289853558]
FedSLMは異種圧縮クライアントとのファインチューニングのためのパラメータ中心のフレームワークである。
我々は,アダプタレベルのアグリゲーションの理論的保証,グループ間融合における部分空間アライメント境界,および信頼損失が弱いスーパービジョンノイズを緩和する方法のキャラクタリゼーションを提供する。
論文 参考訳（メタデータ） (2026-07-31T06:45:56Z) - Concordia: Self-Improving Synthetic Tables for Federated LLMs [80.03837595689608]
フェデレートラーニングは、生データを共有することなく、大きな言語モデル(LLM)をトレーニングすることを可能にする。
合成データ生成とフェデレートされた検証ユーティリティを連携させるフレームワークであるConcordiaを提案する。
論文 参考訳（メタデータ） (2026-05-11T01:17:58Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-05T07:02:50Z) - Personalized Longitudinal Medical Report Generation via Temporally-Aware Federated Adaptation [43.13545436728014]
FedTARは、人口動態に基づくパーソナライズと、タイムアウェアなグローバルアグリゲーションを統合するフレームワークである。
J-MID (1M 試験) とMIMIC-CXR の実験は, 言語的精度, 時間的コヒーレンス, クロスサイト一般化において一貫した改善を示した。
論文 参考訳（メタデータ） (2026-02-23T10:14:36Z) - A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。
ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。
本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-29T18:48:21Z) - OLALa: Online Learned Adaptive Lattice Codes for Heterogeneous Federated Learning [24.595304301100047]
フェデレートラーニング(FL)は、生データを共有せずに、分散クライアント間で協調的なトレーニングを可能にする。
本稿では,オンライン学習適応格子(OLALa)を提案する。これは不均一なFLフレームワークで,各クライアントがその量子化器をオンラインで調整することができる。
OLALaは、様々な量子化レートでの学習性能を継続的に改善し、従来の固定コードブックや非適応方式よりも優れています。
論文 参考訳（メタデータ） (2025-06-25T10:18:34Z) - FedPIA -- Permuting and Integrating Adapters leveraging Wasserstein Barycenters for Finetuning Foundation Models in Multi-Modal Federated Learning [7.005516664708197]
FLとPEFTの単純な組み合わせを改善したFedPIAという新しいフレームワークを提案する。
我々は、5つの異なる医療ビジョン言語FLタスク設定で48の医療画像データセットを用いて2000以上のクライアントレベルの実験を行う。
実験の結果,FedPIAは最先端のPEFT-FLベースラインより一貫して優れていた。
論文 参考訳（メタデータ） (2024-12-19T00:24:00Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
Federated Low-Rank Adaptive Learning (FLoRAL)は、低ランクのアダプタを混在させることで、クライアントがグループをパーソナライズすることを可能にする。
FLoRALは、パーソナライズされたフェデレーション学習をマルチタスク学習問題として活用するモデルパラメータ化である。
論文 参考訳（メタデータ） (2024-10-04T15:11:15Z) - PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。
PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。
私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
論文 参考訳（メタデータ） (2023-02-13T19:00:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。