Fugu-MT 論文翻訳(概要): Selective Attention Federated Learning: Improving Privacy and Efficiency for Clinical Text Classification

論文の概要: Selective Attention Federated Learning: Improving Privacy and Efficiency for Clinical Text Classification

arxiv url: http://arxiv.org/abs/2504.11793v2
Date: Thu, 17 Apr 2025 06:24:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-18 10:52:42.172073
Title: Selective Attention Federated Learning: Improving Privacy and Efficiency for Clinical Text Classification
Title（参考訳）: Selective Attention Federated Learning: 臨床テキスト分類におけるプライバシと効率の改善
Authors: Yue Li, Lihong Zhang,
Abstract要約: 大規模言語モデル(LLM)のトレーニングでは,コミュニケーションオーバヘッドとモデルのプライバシに関する大きな課題に直面している。 Selective Attention Federated Learning (SAFL, Selective Attention Federated Learning) は, 注意クリティカルと認識されるトランスフォーマー層のみを動的に微調整する手法である。
参考スコア（独自算出の注目度）: 4.744635045603924
License:
Abstract: Federated Learning (FL) faces major challenges regarding communication overhead and model privacy when training large language models (LLMs), especially in healthcare applications. To address these, we introduce Selective Attention Federated Learning (SAFL), a novel approach that dynamically fine-tunes only those transformer layers identified as attention-critical. By employing attention patterns to determine layer importance, SAFL significantly reduces communication bandwidth and enhances differential privacy resilience. Evaluations on clinical NLP benchmarks (i2b2 Clinical Concept Extraction and MIMIC-III discharge summaries) demonstrate that SAFL achieves competitive performance with centralized models while substantially improving communication efficiency and privacy preservation.
Abstract（参考訳）: Federated Learning(FL)は、特に医療アプリケーションにおいて、大きな言語モデル(LLM)をトレーニングする際の通信オーバーヘッドとモデルのプライバシに関する大きな課題に直面します。このような問題に対処するために,Selective Attention Federated Learning (SAFL)を導入する。レイヤの重要度を決定するために注意パターンを用いることで、SAFLは通信帯域を大幅に削減し、差分プライバシーのレジリエンスを高める。臨床 NLP ベンチマーク (i2b2 臨床概念抽出とMIMIC-III 放電サマリー) の評価は,SAFL が集中型モデルと競合し,通信効率とプライバシ保護を大幅に向上することを示した。

関連論文リスト

ResCLIP: Residual Attention for Training-free Dense Vision-language Inference [27.551367463011008]
CLIPの非最終層における自己注意の相互相関も局在特性を示す。本稿では, 中間層からの相互相関自己アテンションを利用して, 最終ブロックの注意を再認識するResidual Cross-correlation Self-attention (RCS) モジュールを提案する。 RCSモジュールは空間情報を効果的に再構成し、高密度視覚言語推論のためのCLIP内の局在電位を解放する。
論文参考訳（メタデータ） (2024-11-24T14:14:14Z)
Point Cloud Understanding via Attention-Driven Contrastive Learning [64.65145700121442]
トランスフォーマーベースのモデルは、自己認識機構を活用することにより、先進的なポイントクラウド理解を持つ。 PointACLは、これらの制限に対処するために設計された、注意駆動のコントラスト学習フレームワークである。本手法では, 注意駆動型動的マスキング手法を用いて, モデルが非集中領域に集中するように誘導する。
論文参考訳（メタデータ） (2024-11-22T05:41:00Z)
TinyML NLP Scheme for Semantic Wireless Sentiment Classification with Privacy Preservation [49.801175302937246]
本稿では,エネルギー効率の高いプライバシ保護型Tiny Machine Learning(TinyML)フレームワークとしてスプリットラーニング(SL)を紹介した。以上の結果から,SLは計算能力とCO2排出量を大幅に削減し,プライバシの向上を図っている。本研究は、エッジデバイスにプライバシ保護、エネルギー効率の高いNLPモデルをデプロイする際の洞察を提供する。
論文参考訳（メタデータ） (2024-11-09T21:26:59Z)
Private and Communication-Efficient Federated Learning based on Differentially Private Sketches [0.4533408985664949]
フェデレーテッド・ラーニング(FL)は、プライバシー漏洩のリスクとコミュニケーションの非効率の2つの主な課題に直面している。そこで我々は,差分プライベートスケッチを利用したフェデレーション学習手法であるDPSFLを提案する。提案手法のプライバシーと収束に関する理論的解析を行う。
論文参考訳（メタデータ） (2024-10-08T06:50:41Z)
Transfer Learning with Clinical Concept Embeddings from Large Language Models [4.838020198075334]
大言語モデル (LLMs) は, 臨床的概念の意味を捉える重要な可能性を示している。本研究では,2つの大規模医療システムからの電子健康記録を分析し,セマンティック埋め込みが局所的,共有的,移動的学習モデルに与える影響を評価する。
論文参考訳（メタデータ） (2024-09-20T20:50:55Z)
Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
論文参考訳（メタデータ） (2023-08-31T00:36:10Z)
SANCL: Multimodal Review Helpfulness Prediction with Selective Attention and Natural Contrastive Learning [41.92038829041499]
MRHP(Multimodal Review Helpfulness Prediction)は、製品レビューを予測された有用度スコアに従ってソートすることを目的としている。この課題のこれまでの研究は、注意に基づくモダリティ融合、情報統合、関係モデリングに重点を置いていた。 MRHPのためのSANCL: Selective Attention and Natural Contrastive Learningを提案する。
論文参考訳（メタデータ） (2022-09-12T06:31:13Z)
Improving Federated Learning Face Recognition via Privacy-Agnostic Clusters [7.437386882362172]
この研究は、フェデレートされた顔認識を改善するためのフレームワークであるPrivacyFaceを提案する。第一に, 局所的局所的クラスタリング機構は, 局所的なクラス中心から沈殿したクラスターを蒸留するために提案されている。第二に、コンセンサス対応の認識損失は、その後、クライアント間のグローバルなコンセンサスを促進し、それによってより差別的な特徴が生まれる。
論文参考訳（メタデータ） (2022-01-29T01:27:04Z)
Differentially private federated deep learning for multi-site medical image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文参考訳（メタデータ） (2021-07-06T12:57:32Z)
More Than Just Attention: Learning Cross-Modal Attentions with Contrastive Constraints [63.08768589044052]
本稿では,コントラストコンテンツリソーシング (CCR) とコントラストコンテンツスワッピング (CCS) の制約を提案する。 CCRとCCSの制約は、明示的な注意アノテーションを必要とせず、対照的な学習方法で注意モデルのトレーニングを監督する。 Flickr30kとMS-COCOのデータセットの実験は、これらの注意制約を2つの最先端の注意ベースモデルに統合することで、モデルのパフォーマンスが向上することを示した。
論文参考訳（メタデータ） (2021-05-20T08:48:10Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。