論文の概要: Sparse Prototype Code Underlies Classification and Prediction Across Modalities
- arxiv url: http://arxiv.org/abs/2608.15632v1
- Date: Sun, 16 Aug 2026 08:53:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.368562
- Title: Sparse Prototype Code Underlies Classification and Prediction Across Modalities
- Title（参考訳）: モダリティ間のスパースプロトタイプコードアンダーライズ分類と予測
- Abstract要約: 分類タスクは、視覚、音声、言語処理における最先端のモデル間で共有される普遍的な表現幾何学をもたらすことを示す。
鍵となる構造は、クラス内の変数が表現空間においてランダムでないことである。
解析的平均場理論は、主に真のクラスと競合クラスのセントロイド座標に沿った変数によって支配される。
- 参考スコア（独自算出の注目度）: 9.027127884628092
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural representations have become a central tool for studying the internal mechanisms of modern AI models, yet their complex high-dimensional structure makes them difficult to interpret. We show that classification tasks give rise to a universal representational geometry, shared across state-of-the-art models in vision, audio, and language processing. The key structure is that within-class variability is not random in representation space. Instead, its classifier-relevant component has strong and structured correlations with the class's own centroid and with the centroids of its competing classes. Building on this observation, we derive an analytical mean-field theory governed mainly by the variability along true-class and rival-class centroid coordinates, together with a global renormalization of the class radius that compensates for the non-Gaussian statistics of real representations. The theory accurately predicts classification accuracy across architectures and modalities. The relevant geometric quantities improve systematically with model scale, mirroring the observed gains in accuracy. A striking feature of the theory is its sparsity: accurate prediction requires only a small set of centroid coordinates associated with the true class and its strongest rivals - connecting our framework to sparse-feature extraction approaches such as sparse autoencoders. Together, these results provide a parsimonious predictive theory of neural representations and suggest that classification in deep networks is governed by a sparse, centroid-aligned structure embedded within the full high-dimensional representation space.
- Abstract（参考訳）: ニューラル表現は、現代のAIモデルの内部メカニズムを研究するための中心的なツールとなっているが、その複雑な高次元構造は解釈を困難にしている。
分類タスクは、視覚、音声、言語処理における最先端のモデル間で共有される普遍的な表現幾何学をもたらすことを示す。
鍵となる構造は、クラス内の変数が表現空間においてランダムでないことである。
その代わりに、分類器関連成分は、クラス自身のセントロイドと、競合するクラスのセントロイドと強く構造化された相関を持つ。
この観測に基づいて、実表現の非ガウス統計を補うクラス半径の大域的再正規化とともに、真級およびライバル級のセントロイド座標に沿った変数によって主に支配される解析的平均場理論を導出する。
この理論は、アーキテクチャやモダリティの分類精度を正確に予測する。
関連する幾何量はモデルスケールで体系的に改善され、観測された利得を精度で反映する。
正確な予測には、真のクラスとその最強の競合に付随する小さなセントロイド座標のセットしか必要とせず、我々のフレームワークをスパースオートエンコーダのようなスパースフェール抽出アプローチに接続する。
これらの結果は、ニューラル表現の同義的な予測理論を提供し、ディープネットワークにおける分類は、完全な高次元表現空間内に埋め込まれた疎遠なセントロイド整列構造によって管理されていることを示唆している。
関連論文リスト
- Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。
ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。
HERLは最先端のアプローチよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2026-04-18T10:50:46Z) - Local Intrinsic Dimension of Representations Predicts Alignment and Generalization in AI Models and Human Brain [14.072972213206524]
近年の研究では、より強い一般化を持つニューラルネットワークは、互いに高い表現的アライメントを示す傾向があることが判明している。
より強力な一般化モデルもまた、人間の神経活動とより強く一致していることを示す。
これらの関係は、学習された表現の単一の幾何学的性質、すなわち埋め込みの局所内在次元によって説明できる。
論文 参考訳（メタデータ） (2026-01-30T08:54:59Z) - Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。
局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。
この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
論文 参考訳（メタデータ） (2025-05-11T17:44:14Z) - Boosting of Classification Models with Human-in-the-Loop Computational Visual Knowledge Discovery [2.9465623430708905]
本稿では, クラス重複領域のすべてのケースに対して, 誤分類事例のみに焦点をあてることから, クラス重複領域への移動促進手法を提案する。
分割と分類のプロセスは、ケースを単純で複雑なものに分割し、計算分析とデータの視覚化を通じて個別に分類する。
純粋なクラス領域と重複クラス領域を見つけた後、純粋な領域における単純なケースを分類し、命題論理や一階論理などの決定規則のような解釈可能なサブモデルを生成する。
論文 参考訳（メタデータ） (2025-02-10T21:09:19Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。
機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。
我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文 参考訳（メタデータ） (2023-01-03T13:51:51Z) - Isometric Representations in Neural Networks Improve Robustness [0.0]
我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。
我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
論文 参考訳（メタデータ） (2022-11-02T16:18:18Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Generalized Shape Metrics on Neural Representations [26.78835065137714]
表現上の相似性を定量化する計量空間の族を提供する。
我々は、正準相関解析に基づいて既存の表現類似度尺度を修正し、三角形の不等式を満たす。
解剖学的特徴とモデル性能の観点から解釈可能な神経表現の関係を同定する。
論文 参考訳（メタデータ） (2021-10-27T19:48:55Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳（メタデータ） (2020-02-20T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。