論文の概要: Open Vocabulary Compositional Explanations for Neuron Alignment

• arxiv url: http://arxiv.org/abs/2511.20931v1
• Date: Tue, 25 Nov 2025 23:45:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.898958
• Title: Open Vocabulary Compositional Explanations for Neuron Alignment
• Title（参考訳）: ニューロンアライメントのためのオープン語彙構成記述法
• Authors: Biagio La Rosa, Leilani H. Gilpin,
• Abstract要約: ニューロンがどのように情報をエンコードするかを理解することを目的として、構成的説明は概念間の論理的関係を利用してニューロンの活性化と人間の知識の間の空間的アライメントを表現する。 本稿では、任意の概念やデータセットのニューロンを探索する視覚領域のためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.497600020881818
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Neurons are the fundamental building blocks of deep neural networks, and their interconnections allow AI to achieve unprecedented results. Motivated by the goal of understanding how neurons encode information, compositional explanations leverage logical relationships between concepts to express the spatial alignment between neuron activations and human knowledge. However, these explanations rely on human-annotated datasets, restricting their applicability to specific domains and predefined concepts. This paper addresses this limitation by introducing a framework for the vision domain that allows users to probe neurons for arbitrary concepts and datasets. Specifically, the framework leverages masks generated by open vocabulary semantic segmentation to compute open vocabulary compositional explanations. The proposed framework consists of three steps: specifying arbitrary concepts, generating semantic segmentation masks using open vocabulary models, and deriving compositional explanations from these masks. The paper compares the proposed framework with previous methods for computing compositional explanations both in terms of quantitative metrics and human interpretability, analyzes the differences in explanations when shifting from human-annotated data to model-annotated data, and showcases the additional capabilities provided by the framework in terms of flexibility of the explanations with respect to the tasks and properties of interest.
• Abstract（参考訳）: ニューロンはディープニューラルネットワークの基本的な構成要素であり、その相互接続によってAIは前例のない結果が得られる。 ニューロンがどのように情報をエンコードするかを理解することを目的として、構成的説明は概念間の論理的関係を利用してニューロンの活性化と人間の知識の間の空間的アライメントを表現する。 しかしながら、これらの説明は人間の注釈付きデータセットに依存しており、特定のドメインや事前定義された概念に適用性を制限する。 本稿では、任意の概念やデータセットのニューロンを探索する視覚領域のためのフレームワークを導入することで、この制限に対処する。 具体的には、オープン語彙セマンティックセグメンテーションによって生成されるマスクを活用して、オープン語彙構成説明を計算する。 提案するフレームワークは,任意の概念を指定し,オープン語彙モデルを用いてセマンティックセグメンテーションマスクを生成し,これらのマスクから構成説明を導出する3つのステップから構成される。 提案手法は,提案手法を定量的な測定値と人間の解釈可能性の両方で計算する方法と比較し,人間のアノテーションデータからモデルアノテーションデータへ移行する際の説明の相違を解析し,興味のあるタスクや特性に関する説明の柔軟性の観点から,フレームワークが提供する追加機能を示す。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• CoSy: Evaluating Textual Explanations of Neurons [5.696573924249008]
  我々は、潜伏ニューロンのテキスト説明を評価するためのフレームワークであるCoSyを紹介する。 生成したデータポイントと制御データポイントとのニューロンの応答を比較することで、説明の質を推定できる。 我々は、コンピュータビジョンタスクの健全性チェックと様々なニューロン記述手法のベンチマークにより、我々のフレームワークを検証する。
  論文  参考訳（メタデータ） (2024-05-30T17:59:04Z)
• Semantic Parsing for Question Answering over Knowledge Graphs [6.476654097130567]
  本稿では,グラフ・ツー・セグメンテーション・マッピングに基づく知識グラフに対する質問応答手法を提案する。 我々のフレームワークはルールベースとニューラルネットワークの両方を統合し、正確なセマンティックセグメントシーケンスを解析・構築する。 本稿では,エンコーダ・デコーダニューラルネットワークを用いて,自然言語質問をセマンティックセグメントにマッピングし,シーケンス生成タスクとして問合せセマンティックパーシングを定式化する。
  論文  参考訳（メタデータ） (2023-12-01T20:45:06Z)
• Mapping Knowledge Representations to Concepts: A Review and New Perspectives [0.6875312133832078]
  本論は、内部表現と人間の理解可能な概念を関連付けることを目的とした研究に焦点をあてる。 この分類学と因果関係の理論は、ニューラルネットワークの説明から期待できるもの、期待できないものを理解するのに有用である。 この分析は、モデル説明可能性の目標に関するレビューされた文献の曖昧さも明らかにしている。
  論文  参考訳（メタデータ） (2022-12-31T12:56:12Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection [21.02924712220406]
  特徴的相互作用を検出することによって階層的な説明を構築する。 このような説明は、単語とフレーズが階層の異なるレベルでどのように結合されるかを視覚化する。 実験は、モデルに忠実であり、人間に解釈可能な説明を提供する上で、提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-04-04T20:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。