論文の概要: R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge

• arxiv url: http://arxiv.org/abs/2411.18220v3
• Date: Fri, 21 Feb 2025 12:44:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 17:07:35.038892
• Title: R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge
• Title（参考訳）: R-MTLLMF:無線エッジでの弾力性マルチタスク大言語モデル融合
• Authors: Aladin Djuhera, Vlad C. Andrei, Mohsen Pourghasemian, Haris Gacanin, Holger Boche, Walid Saad,
• Abstract要約: マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。 タスクベクトルによるモデル融合の概念は、MDLLMを生成するための微調整パラメータを組み合わせるための効率的なアプローチとして登場した。 本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。
• 参考スコア（独自算出の注目度）: 78.26352952957909
• License:
• Abstract: Multi-task large language models (MTLLMs) are important for many applications at the wireless edge, where users demand specialized models to handle multiple tasks efficiently. However, training MTLLMs is complex and exhaustive, particularly when tasks are subject to change. Recently, the concept of model fusion via task vectors has emerged as an efficient approach for combining fine-tuning parameters to produce an MTLLM. In this paper, the problem of enabling edge users to collaboratively craft such MTLMs via tasks vectors is studied, under the assumption of worst-case adversarial attacks. To this end, first the influence of adversarial noise to multi-task model fusion is investigated and a relationship between the so-called weight disentanglement error and the mean squared error (MSE) is derived. Using hypothesis testing, it is directly shown that the MSE increases interference between task vectors, thereby rendering model fusion ineffective. Then, a novel resilient MTLLM fusion (R-MTLLMF) is proposed, which leverages insights about the LLM architecture and fine-tuning process to safeguard task vector aggregation under adversarial noise by realigning the MTLLM. The proposed R-MTLLMF is then compared for both worst-case and ideal transmission scenarios to study the impact of the wireless channel. Extensive model fusion experiments with vision LLMs demonstrate R-MTLLMF's effectiveness, achieving close-to-baseline performance across eight different tasks in ideal noise scenarios and significantly outperforming unprotected model fusion in worst-case scenarios. The results further advocate for additional physical layer protection for a holistic approach to resilience, from both a wireless and LLM perspective.
• Abstract（参考訳）: マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。 しかし、MTLLMの訓練は複雑で、特にタスクが変更される場合、徹底的に行われる。 近年,MTLLMを生成するための微調整パラメータを組み合わせる手法として,タスクベクトルによるモデル融合の概念が登場している。 本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。 この目的のために、まず、マルチタスクモデル融合に対する対向ノイズの影響を調査し、いわゆる重みの絡み合い誤差と平均二乗誤差(MSE)の関係を導出する。 仮説テストを用いて、MSEはタスクベクトル間の干渉を増大させ、モデル融合が効果的でないことを示す。 次に,LLMアーキテクチャと微調整プロセスに関する洞察を活用し,MTLLMを直交雑音下でのタスクベクトル集約の保護を行う新しいレジリエントなMTLLM融合(R-MTLLMF)を提案する。 提案したR-MTLLMFは、最悪のケースと理想的な送信シナリオの両方で比較され、無線チャネルの影響を研究する。 ビジョンLLMを用いた大規模なモデル融合実験は、R-MTLLMFの有効性を示し、理想的なノイズシナリオでは8つの異なるタスクにまたがってベースラインに近い性能を実現し、最悪のケースでは非保護モデル融合を著しく上回っている。 この結果はさらに、無線とLLMの両方の観点から、レジリエンスに対する総合的なアプローチのための物理層保護を提唱した。

関連論文リスト

• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• MoSLD: An Extremely Parameter-Efficient Mixture-of-Shared LoRAs for Multi-Task Learning [8.868481107848185]
  MoSLDは、ドロップアウト戦略を備えた混合共有LoRAモデルである。 MoSLDは、LoRAの上部プロジェクションマトリックスをさまざまな専門家の間で共有することで、課題に対処する。 本モデルは,シングルタスクシナリオとマルチタスクシナリオの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T05:22:49Z)
• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• MTLComb: multi-task learning combining regression and classification tasks for joint feature selection [3.708475728683911]
  マルチタスク学習(Multi-task learning、MTL)は、複数の通信アルゴリズムの同時学習を可能にする学習パラダイムである。 本稿では、回帰と分類タスクのバランスをとるための最適な重み付けを解析的に決定する、証明可能な損失重み付け手法を提案する。 MTLアルゴリズムとソフトウェアパッケージであるMTLCombを導入し、最適化手順、トレーニングプロトコル、ハイパーパラメータ推定手順を紹介する。
  論文  参考訳（メタデータ） (2024-05-16T08:07:25Z)
• Multi-task learning via robust regularized clustering with non-convex group penalties [0.0]
  マルチタスク学習(MTL)は、関連するタスク間で共通情報を共有することにより、推定性能を向上させることを目的としている。 この仮定に基づく既存のMTLメソッドは、しばしば外れたタスクを無視する。 MTLRRC(MultiTask Regularized Clustering)と呼ばれる新しいMTL手法を提案する。
  論文  参考訳（メタデータ） (2024-04-04T07:09:43Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。