論文の概要: Learning Coherent Representations: A Topological Approach to Interpretability

• arxiv url: http://arxiv.org/abs/2606.02841v1
• Date: Mon, 01 Jun 2026 20:05:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.581996
• Title: Learning Coherent Representations: A Topological Approach to Interpretability
• Title（参考訳）: コヒーレント表現の学習 : 解釈可能性へのトポロジカルアプローチ
• Authors: Sigurd Gaukstad, Melvin Vaupel, Valdemar Kargård Olsen, Erik Hermansen, Benjamin Dunn,
• Abstract要約: ディープニューラルネットワークは、個々の特徴が解釈可能な意味を欠く表現を学ぶ。 コヒーレンス(Coherence)は、脳内の神経コーディングにインスパイアされた幾何学的特性であり、格子細胞のようなニューロンは、状態空間の連続した領域に反応する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks learn representations where individual features often lack interpretable meaning; a single neuron may activate for scattered, unrelated inputs. We introduce coherence, a geometric property inspired by neural coding in the brain, where neurons like grid cells and head direction cells respond to contiguous regions of state space. A non-negative matrix is coherent if each row (sample) attends to geometrically clustered columns (features) and vice versa, and in addition every sample is well described by some feature and every feature is needed by some sample. We prove that coherent matrices induce a bounded interleaving between the Vietoris-Rips filtrations of samples and features, guaranteeing that both spaces share compatible topological structure. This geometric constraint facilitates interpretability. For example, if data lies on a circle, coherent features must tile that circle into contiguous arcs. We introduce Coh, a differentiable objective function based on Fréchet variance that enforces coherence during training. Unlike sparsity, which bounds how many samples a feature activates on, coherence bounds which samples, requiring geometric connectivity rather than only rarity. This yields not just interpretable features but an interpretable feature space. We validate Coh in an auto-encoder using synthetic and rotated MNIST datasets and in a token embedding of BERT using language data.
• Abstract（参考訳）: ディープニューラルネットワークは、個々の特徴が解釈可能な意味を欠く表現を学ぶ。 コヒーレンス(Coherence)は、脳内の神経コーディングにインスパイアされた幾何学的特性であり、格子細胞や頭部細胞のようなニューロンは、状態空間の連続した領域に反応する。 非負行列は、各行 (sample) が幾何学的にクラスタ化された列 (features) に従えばコヒーレントであり、その逆も成り立つ。 我々は、コヒーレント行列がサンプルと特徴のVietoris-Rips濾過の間に有界な交差を生じさせることを証明し、両空間が相反する位相構造を共有することを保証した。 この幾何学的制約は解釈可能性を促進する。 例えば、データが円上に置かれている場合、コヒーレントな特徴はその円を連続した弧にタイルを張らなければならない。 我々は、Fréchet分散に基づく微分可能な目的関数であるCohを導入し、トレーニング中にコヒーレンスを強制する。 機能がアクティベートするサンプル数に束縛されるスパーシティとは異なり、コヒーレンス(coherence)はサンプルを束縛し、希少性だけでなく幾何学的な接続を必要とする。 これにより、解釈可能な機能だけでなく、解釈可能な機能空間が得られる。 合成および回転したMNISTデータセットを用いた自動エンコーダと、言語データを用いたBERTのトークン埋め込みにおけるCohの有効性を検証する。

関連論文リスト

• Neural Point-Forms [1.0262304700896199]
  ニューラル・ポイント・フォーム(NPF)と呼ばれる点雲の原理的学習可能な幾何学的特徴の新たなファミリーを導入する。 NPFは競合的で解釈可能な表現であり、ラベルがサンプリング密度、多様体のような構造、あるいは応答関連人口幾何学に依存する場合に最も大きな利点が現れる。
  論文  参考訳（メタデータ） (2026-05-15T01:44:31Z)
• Convergent Evolution: How Different Language Models Learn Similar Number Representations [53.8769088563044]
  自然言語で訓練された言語モデルは、T=2, 5, 10$で支配的な周期を持つ周期的特徴を用いて数値を表現することを学ぶ。 Transformer、Linear RNN、LSTM、そして古典的な単語埋め込みは、すべて、Fourierドメインで周期$T$スパイクを持つ機能を学ぶ。 数 mod-$T$ を線形に分類するのに使用できる幾何的に分離可能な特徴だけを学ぶ。
  論文  参考訳（メタデータ） (2026-04-22T17:45:27Z)
• How high is `high'? Rethinking the roles of dimensionality in topological data analysis and manifold learning [8.397730500554047]
  我々は、一般化されたハンソン・ライトの不等式を示し、それをデータポイントクラウドの幾何学に関する新しい統計的知見を確立するために利用する。 ガードナーらによる格子細胞活動における等尺トロイダル構造の画期的な神経科学的な発見を再考する。 我々の発見は、この構造が実際に物理空間にあるという証拠を初めて明らかにし、格子状細胞活動が現実世界の幾何学的に忠実な表現を伝達していることを意味する。
  論文  参考訳（メタデータ） (2025-05-22T16:34:15Z)
• Making Sense Of Distributed Representations With Activation Spectroscopy [44.94093096989921]
  関連する機能が多くのニューロンに分散的にコード化されていることを示す証拠が増えている。 この研究は、分散表現におけるニューロンの結合の影響を検知し、追跡するための一つの実現可能な経路を探索する。
  論文  参考訳（メタデータ） (2025-01-26T07:33:42Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles [34.32021888691789]
  雑音の多い最小二乗尾根アンサンブルにおける特徴バッグングの理論を開発する。 サブサンプリングは線形予測器の2Dピークをシフトすることを示した。 特徴サブサンプリングアンサンブルの性能を1つの線形予測器と比較する。
  論文  参考訳（メタデータ） (2023-07-06T17:56:06Z)
• A Self-Encoder for Learning Nearest Neighbors [5.297261090056809]
  自己エンコーダは、データサンプルを埋め込み空間に分散して、互いに線形に分離できるように学習する。 通常の隣人とは異なり、このデータの符号化による予測は、あらゆる機能のスケーリングに不変である。
  論文  参考訳（メタデータ） (2023-06-25T14:30:31Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。