論文の概要: Capturing Polysemanticity with PRISM: A Multi-Concept Feature Description Framework

• arxiv url: http://arxiv.org/abs/2506.15538v2
• Date: Fri, 20 Jun 2025 13:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 12:57:34.523912
• Title: Capturing Polysemanticity with PRISM: A Multi-Concept Feature Description Framework
• Title（参考訳）: PRISMでポリセマンティクスをキャプチャする: マルチコンセプトな特徴記述フレームワーク
• Authors: Laura Kopf, Nils Feldhus, Kirill Bykov, Philine Lou Bommer, Anna Hedström, Marina M. -C. Höhne, Oliver Eberle,
• Abstract要約: 我々は、ニューラルネットワーク機能の本質的な複雑さを捉える新しいフレームワークであるPRISMを紹介する。 機能ごとに1つの記述を割り当てる以前のアプローチとは異なり、PRISMは多意味的特徴と単意味的特徴の両方に対してよりニュアンスな記述を提供する。
• 参考スコア（独自算出の注目度）: 7.729065709338261
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated interpretability research aims to identify concepts encoded in neural network features to enhance human understanding of model behavior. Current feature description methods face two critical challenges: limited robustness and the flawed assumption that each neuron encodes only a single concept (monosemanticity), despite growing evidence that neurons are often polysemantic. This assumption restricts the expressiveness of feature descriptions and limits their ability to capture the full range of behaviors encoded in model internals. To address this, we introduce Polysemantic FeatuRe Identification and Scoring Method (PRISM), a novel framework that captures the inherent complexity of neural network features. Unlike prior approaches that assign a single description per feature, PRISM provides more nuanced descriptions for both polysemantic and monosemantic features. We apply PRISM to language models and, through extensive benchmarking against existing methods, demonstrate that our approach produces more accurate and faithful feature descriptions, improving both overall description quality (via a description score) and the ability to capture distinct concepts when polysemanticity is present (via a polysemanticity score).
• Abstract（参考訳）: 自動解釈可能性の研究は、ニューラルネットワークの特徴に符号化された概念を特定し、モデル行動の人間の理解を強化することを目的としている。 現在の特徴記述法は2つの重要な課題に直面している: 限られた頑健さと、各ニューロンが単一の概念(単調性)のみを符号化するという欠点のある仮定である。 この仮定は、特徴記述の表現性を制限し、モデル内部に符号化されたすべての振る舞いをキャプチャする能力を制限する。 これを解決するために、ニューラルネットワーク機能の本質的な複雑さを捉える新しいフレームワークであるPolysemantic FeatuRe Identification and Scoring Method (PRISM)を紹介する。 機能ごとに1つの記述を割り当てる以前のアプローチとは異なり、PRISMは多意味的特徴と単意味的特徴の両方に対してよりニュアンスな記述を提供する。 我々はPRISMを言語モデルに適用し、既存の手法に対する広範なベンチマークを通じて、我々のアプローチがより正確で忠実な特徴記述を生み出し、(記述スコアを介して)全体的な記述品質と(多意味性スコアを介して)多意味性が存在するときに異なる概念をキャプチャする能力の両方を改善することを実証した。

関連論文リスト

• Concept Component Analysis: A Principled Approach for Concept Extraction in LLMs [51.378834857406325]
  機械的解釈可能性(Mechanistic interpretability)は、大きな言語モデルからの抽出によって問題を緩和しようとする。 スパースオートエンコーダ (SAE) は、解釈可能・単意味的な概念を抽出するための一般的なアプローチである。 SAEは基本的な理論的曖昧さに悩まされており、LLM表現と人間解釈可能な概念との明確に定義された対応はいまだに不明である。
  論文  参考訳（メタデータ） (2026-01-28T09:27:05Z)
• CLMN: Concept based Language Models via Neural Symbolic Reasoning [27.255064617527328]
  概念言語モデルネットワーク(CLMN)は、パフォーマンスと解釈可能性の両方を維持するニューラルシンボリックフレームワークである。 CLMNは、連続的、人間可読な埋め込みとして概念を表現している。 Modelは、概念を意識した表現でオリジナルのテキスト機能を拡張し、解釈可能なロジックルールを自動的に誘導する。
  論文  参考訳（メタデータ） (2025-10-11T06:58:44Z)
• Probing the Vulnerability of Large Language Models to Polysemantic Interventions [49.64902130083662]
  2つの小モデル(Pythia-70MとGPT-2-Small)の多意味構造について検討する。 解析の結果,両モデルに共通する一貫した多意味トポロジーが明らかになった。 興味深いことに、この構造を利用して、2つの大きなブラックボックス命令調整モデルに効果的な介入を組み込むことができる。
  論文  参考訳（メタデータ） (2025-05-16T18:20:42Z)
• Mechanistic understanding and validation of large AI models with SemanticLens [13.712668314238082]
  航空機のような人間工学的なシステムとは異なり、AIモデルの内部動作はほとんど不透明である。 本稿では、コンポーネントによって符号化された隠れた知識をマッピングするニューラルネットワークの普遍的説明法であるSemanticLensを紹介する。
  論文  参考訳（メタデータ） (2025-01-09T17:47:34Z)
• Multi-Attribute Constraint Satisfaction via Language Model Rewriting [67.5778646504987]
  マルチ属性制約満足度(英: Multi-Attribute Constraint Satisfaction, MACS)は、言語モデルを微調整して、複数の外部実値属性に対するユーザ指定制約を満たす手法である。 我々の研究は、NLPやバイオインフォマティクスにまたがる多様な応用に影響を及ぼす、一般化および実値多属性制御のための新しい道を開く。
  論文  参考訳（メタデータ） (2024-12-26T12:36:39Z)
• LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
  自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。 本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。 我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
  論文  参考訳（メタデータ） (2024-12-11T18:59:33Z)
• Beyond Interpretability: The Gains of Feature Monosemanticity on Model Robustness [68.69369585600698]
  ディープラーニングモデルは多意味性による解釈可能性の欠如に悩まされることが多い。 神経細胞が一貫したセマンティクスと異なるセマンティクスに対応するモノセマンティクスの最近の進歩は、解釈可能性を大幅に改善した。 モノセマンティックな特徴は解釈可能性を高めるだけでなく、モデル性能の具体的な向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-27T18:03:20Z)
• MulCPred: Learning Multi-modal Concepts for Explainable Pedestrian Action Prediction [57.483718822429346]
  MulCPredは、トレーニングサンプルで表されるマルチモーダルな概念に基づいて、その予測を説明する。 MulCPredは複数のデータセットとタスクで評価される。
  論文  参考訳（メタデータ） (2024-09-14T14:15:28Z)
• PURE: Turning Polysemantic Neurons Into Pure Features by Identifying Relevant Circuits [12.17671779091913]
  本稿では、複数の単意味「仮想」ニューロンにポリセマンティックニューロンを分解することで、あらゆるディープニューラルネットワークのポリセマンティック性を遠ざける方法を提案する。 私たちは、ImageNetでトレーニングされたResNetモデルの多意味ユニットを、どのように見つけ、切り離すことができるかを示します。
  論文  参考訳（メタデータ） (2024-04-09T16:54:19Z)
• Diffexplainer: Towards Cross-modal Global Explanations with Diffusion Models [51.21351775178525]
  DiffExplainerは、言語ビジョンモデルを活用することで、マルチモーダルなグローバルな説明可能性を実現する新しいフレームワークである。 最適化されたテキストプロンプトに条件付けされた拡散モデルを使用し、クラス出力を最大化する画像を合成する。 生成した視覚的記述の分析により、バイアスと突発的特徴の自動識別が可能になる。
  論文  参考訳（メタデータ） (2024-04-03T10:11:22Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Sparse Autoencoders Find Highly Interpretable Features in Language Models [0.0]
  多意味性は、ニューラルネットワークが内部で何をしているのかについて、簡潔で理解しやすい説明を見つけるのを妨げます。 スパースオートエンコーダを用いて言語モデルの内部アクティベーションを再構築する。 我々の手法は将来の機械的解釈可能性の基盤となるかもしれない。
  論文  参考訳（メタデータ） (2023-09-15T17:56:55Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• COCKATIEL: COntinuous Concept ranKed ATtribution with Interpretable ELements for explaining neural net classifiers on NLP tasks [3.475906200620518]
  COCKATIELは、新しい、ポストホック、コンセプトベース、モデルに依存しないXAI技術である。 NLP分類タスクでトレーニングされたニューラルネットモデルの最後の層から意味のある説明を生成する。 基礎となるモデルの精度を損なうことなく、新しいモデルをトレーニングする必要もない。
  論文  参考訳（メタデータ） (2023-05-11T12:22:20Z)
• On Guaranteed Optimal Robust Explanations for NLP Models [16.358394218953833]
  我々は,マシーン学習のための推論に基づく説明を構築し,ニューラルネットワークモデルのための局所的説明を計算する方法を開発した。 我々は,それぞれ暗黙の打撃集合と最大普遍部分集合に基づく2つの解アルゴリズムを提案する。 SST、Twitter、IMDBデータセットから、広く使用されている3つの感情分析タスクと最大100ワードのテキストに基づいてフレームワークを評価します。
  論文  参考訳（メタデータ） (2021-05-08T08:44:48Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• MPLP: Learning a Message Passing Learning Protocol [63.948465205530916]
  人工ニューラルネットワークの重みを学習する新しい手法として,メッセージパッシング学習プロトコル(MPLP)を提案する。 ANNで発生したすべての操作を独立したエージェントとして抽象化する。 各エージェントは、他のエージェントからやってくる多次元メッセージを取り込み、内部状態を更新し、近隣エージェントに渡される多次元メッセージを生成する責任がある。
  論文  参考訳（メタデータ） (2020-07-02T09:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。