論文の概要: Can Capability Enhancement be Localized?
- arxiv url: http://arxiv.org/abs/2610.21294v1
- Date: Thu, 15 Oct 2026 05:41:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.203967
- Title: Can Capability Enhancement be Localized?
- Title（参考訳）: 機能拡張はローカライズできるか?
- Abstract要約: 以前の研究では、あるタスクに対して、すべての注意が平等に重要であるわけではないことが示されています。
小さなテキストティスタントヘッドのセットは、廃止されると、与えられたタスクにおけるモデルの性能を著しく損なう。
このような頭を非難することは、訓練が共同目標のグローバルな最適度に収束しても、一方のタスクにおいて、他方のタスクを害しながらパフォーマンスを向上させることを示す。
- 参考スコア（独自算出の注目度）: 9.749355830855823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based language models have shown strong capabilities across many tasks and domains. However, prior work shows that, for a given task, not all attention heads matter equally. Specifically, they suggest that many \textit{redundant} heads can be safely removed with little-to-no effect, while a small set of \textit{important} heads, when ablated, severely damages the model's performance on the given task. In this work, we investigate a complementary aspect, called \textit{Capability Enhancement Localization} (CEL): \textit{given a model and a task, does there exist a small set of heads whose removal improves the task performance?} We first investigate this question \textit{empirically} across models from different families. Using a simple two-stage routine that screens candidate heads and evaluates their joint ablations, we identify sparse head combinations whose removal improves task-specific performance without further fine-tuning. Motivated by these observations, we ask \textit{theoretically whether such a phenomenon can naturally arise from training dynamics, and under what conditions}. To this end, we construct a simplified multi-head softmax attention model and two tasks with conflicting features, and show that gradient descent from small random initialization provably concentrates the conflicting features into particular heads. We further show that ablating such heads improves performance on one task while harming the other, even though training converges to a global optimum of the joint objective. This establishes a possible training-induced theoretical explanation for CEL.
- Abstract（参考訳）: トランスフォーマーベースの言語モデルは、多くのタスクやドメインにわたって強力な機能を示している。
しかしながら、以前の研究は、あるタスクに対して、すべての注意が平等に重要であるわけではないことを示している。
具体的には、多くの \textit{redundant} ヘッドがほとんど効果を示さずに安全に除去できることを示唆し、小さな \textit{important} ヘッドのセットが廃止されると、与えられたタスクにおけるモデルのパフォーマンスを著しく損なう。
本稿では, モデルとタスクに代えて, タスク性能を向上する小さなヘッドセットが存在するか?
} この質問は、まず、異なる家族のモデル間で、textit{empirically} という質問を調査する。
簡単な2段階のルーチンを用いて、より細かい調整をすることなく、タスク固有のパフォーマンスを向上させるスパースヘッドの組み合わせを識別する。
これらの観察により、このような現象が自然に運動学の訓練から生じうるのか、どのような条件下で起こるのかを「textit{theoretically」に問う。
この目的のために, 簡易なマルチヘッドソフトマックスアテンションモデルと, 競合する特徴を持つ2つのタスクを構築し, 乱数初期化からの勾配降下が, 競合する特徴を特定の頭部に集中させることを示す。
さらに, 協調目標の国際的最適度に収束しても, 一方の課題において, 他方の課題に支障をきたすことなく, 他方の課題における性能を損なうことが示される。
これにより、CELのトレーニングによる理論的説明が確立される。
関連論文リスト
- Decomposing the Basic Abilities of Large Language Models: Mitigating Cross-Task Interference in Multi-Task Instruct-Tuning [58.90602461025722]
大規模言語モデル(LLM)におけるマルチタスクインストラクトチューニングは、主にマルチタスクインストラクトチューニングによって駆動されている。
トレーニングパラダイムは、異なるタスク間で共有されたパラメータよりも勾配が矛盾するため、クロスタスク干渉と呼ばれる重要な問題に悩まされる。
本稿では,LLMパラメータを基本能力を表す高特異値LoRAエキスパートに分解するBADITを提案する。
6LLMのSuperNIベンチマークで広範な実験を行い、実験結果から、BADITはSOTA法より優れ、クロスタスク干渉の程度を緩和できることが示された。
論文 参考訳（メタデータ） (2026-05-07T05:08:58Z) - Causal-Inspired Multitask Learning for Video-Based Human Pose Estimation [18.826857684901118]
本稿では2段階からなる因果時間モデリングフレームワークを提案する。
第1段階では、2つの自己超越補助タスクを導入することにより、因果時間モデリング能力を備えたモデルを提供する。
第2段階では、すべての特徴トークンが、ポーズ推定に等しく寄与するわけではないと論じる。
提案手法は3つの大規模ベンチマークデータセット上で最先端の手法より優れている。
論文 参考訳（メタデータ） (2025-01-24T09:45:16Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Skeleton-in-Context: Unified Skeleton Sequence Modeling with In-Context Learning [23.846476546733406]
In-context Learningは、視覚とNLPのためのマルチタスクモデリングの新しい視点を提供する。
In-context skeleton sequence modeling のための効果的なフレームワークである Skeleton-in-Context を提案する。
我々のモデルは、最先端のマルチタスク性能を実現し、特定のタスクにおいてシングルタスクメソッドよりも優れています。
論文 参考訳（メタデータ） (2023-12-06T18:59:44Z) - Exposing and Addressing Cross-Task Inconsistency in Unified
Vision-Language Models [80.23791222509644]
一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。
最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。
本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
論文 参考訳（メタデータ） (2023-03-28T16:57:12Z) - One-shot Visual Imitation via Attributed Waypoints and Demonstration
Augmentation [14.391752643263725]
一発の視覚的模倣では、エージェントは1つの視覚的デモンストレーションだけを与えられた新しいタスクのインスタンスを解決しなければならない。
分析の結果, DAgger問題の原因は, 純粋なオフライントレーニング, オブジェクトとのインタラクションにおける最終センチメートル誤差, 実際のタスクではなくタスクコンテキストに不適合であることがわかった。
我々のモデルは、最近の2つのベンチマークで100%と48%の成功率を獲得し、それぞれ90%と20%の改善を実現しています。
論文 参考訳（メタデータ） (2023-02-09T18:56:37Z) - Causal Triplet: An Open Challenge for Intervention-centric Causal
Representation Learning [98.78136504619539]
Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。
この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
論文 参考訳（メタデータ） (2023-01-12T17:43:38Z) - Dependent Multi-Task Learning with Causal Intervention for Image
Captioning [10.6405791176668]
本稿では、因果的介入(DMTCI)を伴う依存型マルチタスク学習フレームワークを提案する。
まず、中間タスク、カテゴリの袋生成、最終タスクの前に、画像キャプションを伴います。
次に、pearlのdo-calculusをモデルに適用し、視覚的特徴と共同設立者のつながりを取り除きます。
最後に,エンド・ツー・エンドのトレーニングを可能にし,タスク間エラーの蓄積を低減するために,マルチエージェント強化学習戦略を用いる。
論文 参考訳（メタデータ） (2021-05-18T14:57:33Z) - Low-Rank Bottleneck in Multi-head Attention Models [74.83235382203604]
現在のアーキテクチャにおけるヘッド数とヘッドサイズの間のスケーリングは、注目ヘッドの低ランクボトルネックを引き起こします。
本稿では,アテンションユニットの頭部サイズを入力シーケンス長に設定し,ヘッド数に依存しないようにすることを提案する。
論文 参考訳（メタデータ） (2020-02-17T16:16:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。