論文の概要: Sparse Feature Coactivation Reveals Composable Semantic Modules in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.18141v1
• Date: Sun, 22 Jun 2025 19:01:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.771445
• Title: Sparse Feature Coactivation Reveals Composable Semantic Modules in Large Language Models
• Title（参考訳）: Sparse Feature Coactivation Reveals Composable Semantic Modules in Large Language Models
• Authors: Ruixuan Deng, Xiaoyang Hu, Miles Gilberti, Shane Storks, Aman Taxali, Mike Angstadt, Chandra Sripada, Joyce Chai,
• Abstract要約: 大規模言語モデルにおける意味的に一貫性のあるコンテキスト一貫性のあるネットワークコンポーネントを同定する。 国と関係性に関する意味的要素を非難することは、予測可能な方法でモデル出力を変化させることを示す。 関係コンポーネント自体の中では、後層のノードがモデル出力に強い因果関係を持つ傾向がある。
• 参考スコア（独自算出の注目度）: 12.194272268150398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We identify semantically coherent, context-consistent network components in large language models (LLMs) using coactivation of sparse autoencoder (SAE) features collected from just a handful of prompts. Focusing on country-relation tasks, we show that ablating semantic components for countries and relations changes model outputs in predictable ways, while amplifying these components induces counterfactual responses. Notably, composing relation and country components yields compound counterfactual outputs. We find that, whereas most country components emerge from the very first layer, the more abstract relation components are concentrated in later layers. Furthermore, within relation components themselves, nodes from later layers tend to have a stronger causal impact on model outputs. Overall, these findings suggest a modular organization of knowledge within LLMs and advance methods for efficient, targeted model manipulation.
• Abstract（参考訳）: 少数のプロンプトから収集したスパースオートエンコーダ(SAE)機能のコアクティベーションを用いて,大規模言語モデル(LLM)における意味的コヒーレントでコンテキスト整合性のあるネットワークコンポーネントを同定する。 国関係タスクに着目して、国間の意味的コンポーネントの非難と関係性は、予測可能な方法で出力をモデル化し、これらのコンポーネントを増幅すると、反現実的応答が引き起こされることを示す。 特に、構成関係と国産成分は複合対実出力をもたらす。 ほとんどの国産コンポーネントが第1層から現れるのに対して、より抽象的な関係コンポーネントは後層に集中していることが分かりました。 さらに、関係コンポーネント自体の中では、後層のノードがモデル出力に強い因果関係を持つ傾向がある。 これらの結果から,LLM内の知識のモジュラー化と,効率的なモデル操作のための高度な手法が示唆された。

関連論文リスト

• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [54.59207567677249]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
  高速な長文モデリングのためのCCAアテンションを提案する。 本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。 提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences [5.453850739960517]
  本稿では,入力文の構文構造とシーケンスの意味的文脈を効率的に組み込んだ,エンティティを意識した自己意図型GCN(ESC-GCN)を提案する。 本モデルでは,既存の依存性ベースモデルやシーケンスベースモデルと比較して,パフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2024-09-15T10:50:51Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• EvEntS ReaLM: Event Reasoning of Entity States via Language Models [24.077262847151232]
  残念なことに、Large Language Model(LLM)は、オブジェクトの相互作用に関する手続き的な知識を公開しています。 特に,本研究の結果は,未確認属性(ドメイン外)や限られたデータしか利用できない場合に特に有用であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-10T07:48:01Z)
• TAGPRIME: A Unified Framework for Relational Structure Extraction [71.88926365652034]
  TAGPRIMEは、与えられた条件に関する情報を入力テキストに追加するシーケンスタグ付けモデルである。 事前学習された言語モデルにおける自己認識機構により、プライミングワードは、出力された文脈化された表現に、与えられた条件に関するより多くの情報を含む。 5つの異なる言語にまたがる10のデータセットをカバーする3つのタスクに関する大規模な実験と分析は、TAGPRIMEの汎用性と有効性を示している。
  論文  参考訳（メタデータ） (2022-05-25T08:57:46Z)
• Improving Entity Linking through Semantic Reinforced Entity Embeddings [16.868791358905916]
  そこで本稿では, コンテキスト共通性の学習を容易にするため, 実体埋め込みに微粒な意味情報を注入する手法を提案する。 エンティティの埋め込みに基づいて、エンティティリンクにおける最先端のパフォーマンスを新たに達成しました。
  論文  参考訳（メタデータ） (2021-06-16T00:27:56Z)
• Joint Extraction of Entity and Relation with Information Redundancy Elimination [0.0]
  本稿では,冗長な情報の問題と,エンティティと関係抽出モデルの重なり合う関係を解くための共同抽出モデルを提案する。 このモデルは、関係のない情報を生成することなく、複数の関連エンティティを直接抽出することができる。 また、文をモデル化する繰り返しユニットの能力を高めるために、LSTMという名前のリカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-11-27T05:47:26Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。