論文の概要: ALPS: Attention Localization and Pruning Strategy for Efficient Alignment of Large Language Models

• arxiv url: http://arxiv.org/abs/2505.18799v1
• Date: Sat, 24 May 2025 17:19:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.667239
• Title: ALPS: Attention Localization and Pruning Strategy for Efficient Alignment of Large Language Models
• Title（参考訳）: ALPS:大規模言語モデルの効率的なアライメントのためのアテンションローカライズとプルーニング戦略
• Authors: Hao Chen, Haoze Li, Zhiqing Xiao, Lirong Gao, Qi Zhang, Xiaomeng Hu, Ningtao Wang, Xing Fu, Junbo Zhao,
• Abstract要約: 本稿では,最もタスクに敏感なアテンションヘッドをローカライズし,これらのヘッドに対するアテンショントレーニングの更新を制限したアルゴリズムを提案する。 実験結果から,本手法は3つのタスクのベースライン上でのテキストbf2%の性能向上を実現しつつ,微調整中の注目パラメータの10パーセントのみを有効化できることがわかった。
• 参考スコア（独自算出の注目度）: 14.657194214702473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligning general-purpose large language models (LLMs) to downstream tasks often incurs significant costs, including constructing task-specific instruction pairs and extensive training adjustments. Prior research has explored various avenues to enhance alignment efficiency, primarily through minimal-data training or data-driven activations to identify key attention heads. However, these approaches inherently introduce data dependency, which hinders generalization and reusability. To address this issue and enhance model alignment efficiency, we propose the \textit{\textbf{A}ttention \textbf{L}ocalization and \textbf{P}runing \textbf{S}trategy (\textbf{ALPS})}, an efficient algorithm that localizes the most task-sensitive attention heads and prunes by restricting attention training updates to these heads, thereby reducing alignment costs. Experimental results demonstrate that our method activates only \textbf{10\%} of attention parameters during fine-tuning while achieving a \textbf{2\%} performance improvement over baselines on three tasks. Moreover, the identified task-specific heads are transferable across datasets and mitigate knowledge forgetting. Our work and findings provide a novel perspective on efficient LLM alignment.
• Abstract（参考訳）: ダウンストリームタスクに対する汎用大規模言語モデル(LLM)の調整は、タスク固有の命令ペアの構築や広範囲なトレーニング調整など、大きなコストを発生させることが多い。 これまでの研究では、アライメント効率を高めるために、主にデータトレーニングやデータ駆動によるアクティベーションを通じて、重要なアライメントヘッドを特定する様々な方法を模索してきた。 しかし、これらのアプローチは本質的にデータ依存を導入し、一般化と再利用を妨げている。 この問題に対処し、モデルアライメント効率を向上させるために、最もタスクに敏感なアテンションヘッドとプーンをローカライズするアルゴリズムである \textit{\textbf{A}ttention \textbf{L}ocalization と \textbf{P}runing \textbf{S}trategy (\textbf{ALPS})} を提案する。 実験結果から,本手法は3つのタスクのベースラインに対する性能改善を達成しつつ,微調整中にのみ注目パラメータのtextbf{10\%}を活性化することがわかった。 さらに、特定されたタスク固有のヘッドはデータセット間で転送可能であり、知識の忘れを軽減します。 我々の研究と成果は、効率的なLCMアライメントの新たな視点を提供する。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Aligning Instruction Tuning with Pre-training [81.4748965653345]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• Beyond Task Vectors: Selective Task Arithmetic Based on Importance Metrics [0.0]
  本稿では,タスク固有パラメータ融合によるマルチタスク性能向上を目的としたトレーニングフリーフレームワークであるtextbfunderlineSelective textbfunderlineTask textbfunderlineArithmetic underlinetextbf(STA)を紹介する。 実験により,STAはベンチマーク間で優れたマルチタスク性能を実現し,タスクを忘れる際の優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-25T06:59:16Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Fully Fine-tuned CLIP Models are Efficient Few-Shot Learners [8.707819647492467]
  視覚言語モデル全体(VLM)の精巧な精細化によるタスク固有情報の取得について検討する。 これらの問題を緩和するために,識別的視覚テキストタスクを設計するCLIP-CITEというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-04T15:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。