論文の概要: Compressed Sensing for Capability Localization in Large Language Models

• arxiv url: http://arxiv.org/abs/2603.03335v1
• Date: Wed, 11 Feb 2026 16:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.165426
• Title: Compressed Sensing for Capability Localization in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるキャパビリティローカライゼーションのための圧縮センシング
• Authors: Anna Bair, Yixuan Even Xu, Mingjie Sun, J. Zico Kolter,
• Abstract要約: 大規模言語モデル(LLM)は、数学的推論、コード生成、言語行動など幅広い機能を示す。 トランスフォーマーアーキテクチャでは,多くの機能が注目の小さなサブセットに高度にローカライズされていることを示す。
• 参考スコア（独自算出の注目度）: 58.574245030744834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit a wide range of capabilities, including mathematical reasoning, code generation, and linguistic behaviors. We show that many capabilities are highly localized to small subsets of attention heads within Transformer architectures. Zeroing out as few as five task-specific heads can degrade performance by up to $65\%$ on standard benchmarks measuring the capability of interest, while largely preserving performance on unrelated tasks. We introduce a compressed sensing based method that exploits the sparsity of these heads to identify them via strategic knockouts and a small number of model evaluations. We validate these findings across Llama and Qwen models ranging from 1B to 8B parameters and a diverse set of capabilities including mathematical abilities and code generation, revealing a modular organization in which specialized capabilities are implemented by sparse, functionally distinct components. Overall, our results suggest that capability localization is a general organizational principle of Transformer language models, with implications for interpretability, model editing, and AI safety. Code is released at https://github.com/locuslab/llm-components.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、数学的推論、コード生成、言語行動など幅広い機能を示す。 トランスフォーマーアーキテクチャでは,多くの機能が注目の小さなサブセットに高度にローカライズされていることを示す。 5つのタスク固有のヘッドをゼロにすることで、パフォーマンスを最大6,5\%まで低下させることができる。 本稿では,これらの頭部の空間性を利用した圧縮センシング手法を導入し,戦略ノックアウトと少数のモデル評価を行った。 これらの知見は, 1B から 8B までのパラメータと,数理能力やコード生成など多種多様な機能を備えた Llama と Qwen モデルにまたがって検証された。 全体として,機能ローカライゼーションはトランスフォーマー言語モデルの一般的な組織原理であり,解釈可能性,モデル編集,AI安全性に影響を及ぼす可能性が示唆された。 コードはhttps://github.com/locuslab/llm-componentsでリリースされている。

関連論文リスト

• SCALPEL: Selective Capability Ablation via Low-rank Parameter Editing for Large Language Model Interpretability Analysis [5.684482188223278]
  大規模言語モデルは多様なドメインにまたがって優れているが、その内部メカニズムの理解が不十分なため、ハイテイクシステムへの展開は制限されている。 独立モジュールではなく低ランクサブスペースとして機能を表現するフレームワークであるSCALPELを提案する。 一般的な言語モデリングの品質を維持しながら、正解と誤解の区別を減らすためにLoRAをトレーニングすることにより、SCALPELは、他と切り離されたまま、特定の機能に責任を負う低ランクの表現を識別する。
  論文  参考訳（メタデータ） (2026-01-12T10:54:18Z)
• ELICIT: LLM Augmentation via External In-Context Capability [16.237679215248196]
  algは2つのモジュールからなるフレームワークで、タスクベクトルを効果的に保存し再利用する。 algは、モデル機能の適応的な適用を可能にするプラグイン・アンド・プレイパフォーマンス・ブースターとして機能する。
  論文  参考訳（メタデータ） (2024-10-12T03:19:06Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
  大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。 アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。 この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models [648.3665819567409]
  言語モデルは、規模が大きくなるにつれて量的改善と新しい質的能力の両方を示す。 ビッグベンチは204のタスクで構成され、132の機関で450人の著者が貢献している。 我々は,OpenAIのGPTモデル,Google内部の高密度トランスアーキテクチャ,BIGベンチ上のスイッチ型スパーストランスの挙動を評価する。
  論文  参考訳（メタデータ） (2022-06-09T17:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。