論文の概要: Contextual Attention Modulation: Towards Efficient Multi-Task Adaptation in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.17705v1
• Date: Mon, 20 Oct 2025 16:19:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.522
• Title: Contextual Attention Modulation: Towards Efficient Multi-Task Adaptation in Large Language Models
• Title（参考訳）: 文脈アテンション変調:大規模言語モデルにおける効率的なマルチタスク適応を目指して
• Authors: Dayan Pan, Zhaoyang Fu, Jingyuan Wang, Xiao Han, Yue Zhu, Xiangyu Zhao,
• Abstract要約: 大規模言語モデル(LLM)は優れた能力を持っているが、マルチタスク適応に苦戦している。 本研究では,LLMにおける自己注意モジュールの表現を動的に変調する新しいメカニズムであるCAM(Contextual Attention Modulation)を提案する。 私たちのアプローチは既存のアプローチよりも大幅に優れており、平均的なパフォーマンス改善は3.65%に達しています。
• 参考スコア（独自算出の注目度）: 23.932127056475526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) possess remarkable generalization capabilities but struggle with multi-task adaptation, particularly in balancing knowledge retention with task-specific specialization. Conventional fine-tuning methods suffer from catastrophic forgetting and substantial resource consumption, while existing parameter-efficient methods perform suboptimally in complex multi-task scenarios. To address this, we propose Contextual Attention Modulation (CAM), a novel mechanism that dynamically modulates the representations of self-attention modules in LLMs. CAM enhances task-specific features while preserving general knowledge, thereby facilitating more effective and efficient adaptation. For effective multi-task adaptation, CAM is integrated into our Hybrid Contextual Attention Modulation (HyCAM) framework, which combines a shared, full-parameter CAM module with multiple specialized, lightweight CAM modules, enhanced by a dynamic routing strategy for adaptive knowledge fusion. Extensive experiments on heterogeneous tasks, including question answering, code generation, and logical reasoning, demonstrate that our approach significantly outperforms existing approaches, achieving an average performance improvement of 3.65%. The implemented code and data are available to ease reproducibility at https://github.com/Applied-Machine-Learning-Lab/HyCAM.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、顕著な一般化能力を持っているが、特に知識保持とタスク固有の特殊化のバランスをとる上で、マルチタスク適応に苦慮している。 従来の微調整手法は破滅的な記憶と資源消費に悩まされ、既存のパラメータ効率の手法は複雑なマルチタスクのシナリオで過度に最適化される。 そこで本稿では,LLMにおける自己注意モジュールの表現を動的に変調する新しいメカニズムであるCAM(Contextual Attention Modulation)を提案する。 CAMは、一般的な知識を維持しながらタスク固有の機能を強化し、より効果的で効率的な適応を容易にする。 マルチタスクを効果的に適応するために、CAMはHybrid Contextual Attention Modulation (HyCAM)フレームワークに統合されています。 質問応答,コード生成,論理的推論などの不均一なタスクに関する大規模な実験は,我々のアプローチが既存のアプローチを著しく上回り,平均的なパフォーマンス改善を3.65%達成していることを示す。 実装されたコードとデータはhttps://github.com/Applied-Machine-Learning-Lab/HyCAMで再現できる。

関連論文リスト

• Transformer-Squared: Self-adaptive LLMs [29.1326358746118]
  そこで我々はTransformer-Squaredという新しい自己適応フレームワークを紹介した。 提案手法は,LoRAなどのユビキタスな手法よりもパラメータが少なく,効率も向上する。 Transformer-Squaredは、LLMの適応性とタスク固有のパフォーマンスを向上させる、スケーラブルで効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-01-09T01:19:21Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Enhancing Model Performance: Another Approach to Vision-Language Instruction Tuning [0.0]
  大規模言語モデル(LLM)と視覚言語(VL)タスクの統合は、人工知能の領域における変革的な発展である。 本稿では,これらの複雑なモデルのマルチモーダル関数の強化に特化して,Bottleneck Adapterと呼ばれる新しいアプローチを提案する。 当社のアプローチでは,大規模で複雑なニューラルネットワークを必要とせず,軽量なアダプタを用いてイメージエンコーダとLCMを接続する。
  論文  参考訳（メタデータ） (2024-07-25T06:59:15Z)
• CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
  CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。 本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。 ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
  論文  参考訳（メタデータ） (2024-02-08T18:27:22Z)
• PILL: Plug Into LLM with Adapter Expert and Attention Gate [11.956931222769128]
  我々は、アダプタの専門家とアテンションゲートを備えたPILL: Plug Into LLMという新しいアーキテクチャを導入する。 まず、Mixture-of-Modality-Adapter-Expertを使って異なるモダリティを独立に扱う。 第二に、モダリティ・アテンション・ゲーティングを導入することにより、全体表現へのモダリティトークンの寄与を適応的に制御できる。
  論文  参考訳（メタデータ） (2023-11-03T09:31:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。