論文の概要: Rethinking Intrinsic Dimension Estimation in Neural Representations

• arxiv url: http://arxiv.org/abs/2604.20276v1
• Date: Wed, 22 Apr 2026 07:24:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:11.013391
• Title: Rethinking Intrinsic Dimension Estimation in Neural Representations
• Title（参考訳）: ニューラル表現における内在次元推定の再考
• Authors: Rickmer Schulte, David Rügamer,
• Abstract要約: 我々は、共通ID推定器が、実際には、表現の真の基礎となるIDを追跡していないことを示す。 これらの知見に基づいて、ニューラル表現におけるID推定の新しい視点を提供する。
• 参考スコア（独自算出の注目度）: 14.070207228863387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The analysis of neural representation has become an integral part of research aiming to better understand the inner workings of neural networks. While there are many different approaches to investigate neural representations, an important line of research has focused on doing so through the lens of intrinsic dimensions (IDs). Although this perspective has provided valuable insights and stimulated substantial follow-up research, important limitations of this approach have remained largely unaddressed. In this paper, we highlight a crucial discrepancy between theory and practice of IDs in neural representations, theoretically and empirically showing that common ID estimators are, in fact, not tracking the true underlying ID of the representation. We contrast this negative result with an investigation of the underlying factors that may drive commonly reported ID-related results on neural representation in the literature. Building on these insights, we offer a new perspective on ID estimation in neural representations.
• Abstract（参考訳）: 神経表現の分析は、ニューラルネットワークの内部動作をよりよく理解することを目的とした研究の不可欠な部分となっている。 神経表現の研究には多くの異なるアプローチがあるが、重要な研究は内在次元のレンズ(ID)を通して行うことに焦点を当てている。 この視点は貴重な洞察を与え、実質的なフォローアップ研究を刺激してきたが、このアプローチの重要な制限は、ほとんど役に立たないままである。 本稿では,ニューラル表現におけるIDの理論と実践の重大な相違を強調し,共通ID推定器が実際には,その表現の真の基盤IDを追跡していないことを理論的および実証的に示す。 この否定的な結果は、文献における神経表現に関するID関連の結果を一般的に報告する要因の解明と対比する。 これらの知見に基づいて、ニューラル表現におけるID推定の新しい視点を提供する。

関連論文リスト

• What is Missing? Explaining Neurons Activated by Absent Concepts [57.02903530185128]
  XAIは、ディープニューラルネットワーク(DNN)の動作に関する人間解釈可能な洞察を提供することを目指している 既存の研究において、この因果構造はしばしば、概念の存在がニューロンの強い活性化と関連している関係を含む。 ほとんど見過ごされがちな因果関係は、概念の欠如が神経活動を増加させるエンコードされた欠如であることを示す。
  論文  参考訳（メタデータ） (2026-03-10T15:21:52Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Local vs distributed representations: What is the right basis for interpretability? [19.50614357801837]
  スパース分布表現から得られる特徴は、人間の観察者による解釈が容易であることを示す。 この結果から,分散表現が解釈可能性の優れた基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-06T15:34:57Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Statistical tuning of artificial neural network [0.0]
  本研究では、ニューラルネットワークの理解を強化する方法を紹介し、特に1つの隠蔽層を持つモデルに焦点を当てる。 本稿では,入力ニューロンの意義を統計的に評価し,次元減少のためのアルゴリズムを提案する。 この研究は、ニューラルネットワークを解釈するための堅牢な統計フレームワークを提示することにより、説明可能な人工知能の分野を前進させる。
  論文  参考訳（メタデータ） (2024-09-24T19:47:03Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• Neuron-level Interpretation of Deep NLP Models: A Survey [22.035813865470956]
  ディープニューラルネットワークモデルのコンポーネントを分析し、理解するために、数多くの研究がなされている。 最近の研究は、より粒度の細かいレベルでの解釈可能性に集中し、大きなモデルでニューロンとニューロンのグループを分析している。
  論文  参考訳（メタデータ） (2021-08-30T11:54:21Z)
• Object-based attention for spatio-temporal reasoning: Outperforming neuro-symbolic models with flexible distributed architectures [15.946511512356878]
  適切な帰納的バイアスを持つ完全学習型ニューラルネットワークは,従来のニューラルシンボリックモデルよりもかなり優れた性能を示す。 我々のモデルは、自己意識と学習された「ソフト」オブジェクト中心表現の両方を批判的に利用します。
  論文  参考訳（メタデータ） (2020-12-15T18:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。