論文の概要: Sparse Feature Coactivation Reveals Causal Semantic Modules in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.18141v2
• Date: Mon, 20 Oct 2025 18:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:08.122673
• Title: Sparse Feature Coactivation Reveals Causal Semantic Modules in Large Language Models
• Title（参考訳）: Sparse Feature Coactivation による大言語モデルにおける因果意味モジュールの探索
• Authors: Ruixuan Deng, Xiaoyang Hu, Miles Gilberti, Shane Storks, Aman Taxali, Mike Angstadt, Chandra Sripada, Joyce Chai,
• Abstract要約: スパースオートエンコーダ特徴のコアクティベーションを用いて,大規模言語モデル(LLM)における意味的コヒーレントな文脈整合性ネットワークコンポーネントを同定する。 これらのコンポーネントを概念として非難することは、モデル出力を予測可能な方法で変化させる一方で、これらのコンポーネントを増幅することで、反事実応答を誘導することを示す。
• 参考スコア（独自算出の注目度）: 14.577426497283412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We identify semantically coherent, context-consistent network components in large language models (LLMs) using coactivation of sparse autoencoder (SAE) features collected from just a handful of prompts. Focusing on concept-relation prediction tasks, we show that ablating these components for concepts (e.g., countries and words) and relations (e.g., capital city and translation language) changes model outputs in predictable ways, while amplifying these components induces counterfactual responses. Notably, composing relation and concept components yields compound counterfactual outputs. Further analysis reveals that while most concept components emerge from the very first layer, more abstract relation components are concentrated in later layers. Lastly, we show that extracted components more comprehensively capture concepts and relations than individual features while maintaining specificity. Overall, our findings suggest a modular organization of knowledge accessed through compositional operations, and advance methods for efficient, targeted LLM manipulation.
• Abstract（参考訳）: 少数のプロンプトから収集したスパースオートエンコーダ(SAE)機能のコアクティベーションを用いて,大規模言語モデル(LLM)における意味的コヒーレントでコンテキスト整合性のあるネットワークコンポーネントを同定する。 概念関係予測タスクに焦点をあてて、概念(例えば、国や言葉)と関係(例えば、首都と翻訳言語)の要素を非難することは、モデル出力を予測可能な方法で変化させ、これらのコンポーネントを増幅することで、反事実応答を誘発することを示す。 特に、関係と概念の構成要素を構成することで、複合対実的な出力が得られる。 さらなる分析により、ほとんどの概念コンポーネントは第1層から現れるが、より抽象的な関係コンポーネントは後層に集中していることが明らかになった。 最後に,抽出した成分が個々の特徴よりも概念や関係をより包括的に捉えつつ,特異性を維持していることを示す。 全体としては,構成操作によってアクセスされる知識のモジュール構造と,効率的なLLM操作のための先進的手法が示唆された。

関連論文リスト

• ReMeREC: Relation-aware and Multi-entity Referring Expression Comprehension [29.50623143244436]
  ReMeRECは、自然言語の記述に基づいて、イメージ内の特定のエンティティやリージョンをローカライズすることを目的としている。 まず、ReMeXと呼ばれる関係認識型マルチエンタリティRECデータセットを構築した。 次に,複数のエンティティのローカライズに視覚的およびテキスト的手がかりを併用した新しいフレームワークReMeRECを提案する。
  論文  参考訳（メタデータ） (2025-07-22T11:23:48Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [54.59207567677249]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
  高速な長文モデリングのためのCCAアテンションを提案する。 本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。 提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences [5.453850739960517]
  本稿では,入力文の構文構造とシーケンスの意味的文脈を効率的に組み込んだ,エンティティを意識した自己意図型GCN(ESC-GCN)を提案する。 本モデルでは,既存の依存性ベースモデルやシーケンスベースモデルと比較して,パフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2024-09-15T10:50:51Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• EvEntS ReaLM: Event Reasoning of Entity States via Language Models [24.077262847151232]
  残念なことに、Large Language Model(LLM)は、オブジェクトの相互作用に関する手続き的な知識を公開しています。 特に,本研究の結果は,未確認属性(ドメイン外)や限られたデータしか利用できない場合に特に有用であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-10T07:48:01Z)
• TAGPRIME: A Unified Framework for Relational Structure Extraction [71.88926365652034]
  TAGPRIMEは、与えられた条件に関する情報を入力テキストに追加するシーケンスタグ付けモデルである。 事前学習された言語モデルにおける自己認識機構により、プライミングワードは、出力された文脈化された表現に、与えられた条件に関するより多くの情報を含む。 5つの異なる言語にまたがる10のデータセットをカバーする3つのタスクに関する大規模な実験と分析は、TAGPRIMEの汎用性と有効性を示している。
  論文  参考訳（メタデータ） (2022-05-25T08:57:46Z)
• Improving Entity Linking through Semantic Reinforced Entity Embeddings [16.868791358905916]
  そこで本稿では, コンテキスト共通性の学習を容易にするため, 実体埋め込みに微粒な意味情報を注入する手法を提案する。 エンティティの埋め込みに基づいて、エンティティリンクにおける最先端のパフォーマンスを新たに達成しました。
  論文  参考訳（メタデータ） (2021-06-16T00:27:56Z)
• Joint Extraction of Entity and Relation with Information Redundancy Elimination [0.0]
  本稿では,冗長な情報の問題と,エンティティと関係抽出モデルの重なり合う関係を解くための共同抽出モデルを提案する。 このモデルは、関係のない情報を生成することなく、複数の関連エンティティを直接抽出することができる。 また、文をモデル化する繰り返しユニットの能力を高めるために、LSTMという名前のリカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-11-27T05:47:26Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。