論文の概要: Neural Classifiers as Error-Correcting Codes
- arxiv url: http://arxiv.org/abs/2611.18239v1
- Date: Fri, 13 Nov 2026 14:34:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.348896
- Title: Neural Classifiers as Error-Correcting Codes
- Title(参考訳): 誤り訂正符号としてのニューラル分類器
- Abstract要約: クロスエントロピー最適化は、ソフトマックス分類器と最大形復号器の整合性を示す。
ニューラル崩壊とLeJEPAのジオメトリは、等方性雑音下での復号に最適な星座として同定される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: A unified framework is proposed that characterizes supervised deep classification as the decoding of error-correcting codes in the Shannon sense. Cross-entropy optimization is shown to align softmax classifiers with maximum-likelihood decoding, where logits map to Hamming distances to class-specific codewords. This correspondence explains the emergence of standard divergence objectives (e.g., Kullback-Leibler, Jeffreys) and provides a geometric basis for the stability of decision boundaries. Furthermore, the geometries of Neural Collapse and LeJEPA are identified as optimal constellations for decoding under isotropic noise. Unlike classical Error-Correcting Output Codes, deep networks are shown to learn effective codebooks in the feature space implicitly. This insight is leveraged to derive novel criteria for lossless quantization, improved knowledge distillation, and architectural regularization based on code redundancy. Finally, this perspective is extended to self-supervised encoders, offering a cohesive explanation for the geometry of latent representations in modern neural models.
- Abstract(参考訳): シャノン感覚における誤り訂正符号の復号化として教師付き深層分類を特徴付ける統一的な枠組みが提案されている。
クロスエントロピー最適化は、ソフトマックス分類器を最大値のようなデコードに整合させることで示され、ロジットはハミング距離からクラス固有のコードワードにマップされる。
この対応は標準発散目標(例えば、Kulback-Leibler, Jeffreys)の出現を説明し、決定境界の安定性の幾何学的基礎を提供する。
さらに、ニューラル崩壊とLeJEPAのジオメトリは、等方性雑音下での復号に最適な星座として同定される。
古典的誤り訂正出力符号とは異なり、ディープネットワークは機能領域で効果的なコードブックを暗黙的に学習する。
この知見は、損失のない量子化、知識蒸留の改善、およびコード冗長性に基づくアーキテクチャ規則化の新たな基準を導出するために活用される。
最後に、この視点は自己教師付きエンコーダに拡張され、現代のニューラルモデルにおける潜在表現の幾何学の凝集的な説明を提供する。
関連論文リスト
- From Link Prediction to Linear Community Detection: A Finite-Sample Guarantee for Graph Pretraining [55.67175290377199]
リンク予測(LP)はグラフニューラルネットワーク(GNN)の標準事前学習目標である
エッジレベルの目的がノード分類に線形に有用な埋め込みを生成する理由を考察する。
論文 参考訳(メタデータ) (2026-11-11T17:54:19Z) - Theory of approximate quantum error correction and the error-set model [53.73800998389749]
誤差セットモデルに基づく近似量子誤差補正の理論を考案する。
与えられたエラーセットを修正するコードは、クラウス演算子が線形スパンにある全てのチャネルに対して自動的に保護される。
この線形性は、符号距離、消去と一般的な誤りの等価性、および理論上は良い符号をもたらす。
論文 参考訳(メタデータ) (2026-07-25T02:15:33Z) - Impulse Decoding of Quantum LDPC Codes: Equivalence of Degeneracy and Code-Shortening [1.9355898755215148]
縮退は線形ブロック符号の短縮という古典的操作と密接に関連していることを示す。
インパルス復号と呼ばれる量子低密度パリティチェック符号の並列復号方式を提案する。
次に,残差の復号化に基づく別のアルゴリズムを提案し,インパルス復号と組み合わせることで,回路レベルの雑音下でのさらなる性能向上を実現する。
論文 参考訳(メタデータ) (2026-06-16T17:58:26Z) - A Matched Spectral Benchmark of Quantum Inspired Feature Maps [0.0]
アンプ、アングル、ベースエンコーディングは古典的教師あり学習のための決定論的特徴写像として評価される。
振幅符号化は単位球正規化によって情報を除去でき、角度符号化は生の線形特徴と幾何的に冗長になり、基底符号化は滑らかな決定構造に不整合な二元ハミング幾何を課すことができることを示す。
論文 参考訳(メタデータ) (2026-05-23T01:05:21Z) - A Mixture of Experts Vision Transformer for High-Fidelity Surface Code Decoding [12.998419492098462]
トポロジカル・スタビライザーの符号は、その幾何学的局所性と実践的関連性から特に魅力的である。
本稿では,量子ビジョン変換器を用いたデコーダQuantumSMoEを提案する。
トーリックコードの実験は、QuantumSMoEが最先端の機械学習デコーダより優れていることを示した。
論文 参考訳(メタデータ) (2026-01-18T16:49:59Z) - Factor Graph Optimization of Error-Correcting Codes for Belief Propagation Decoding [62.25533750469467]
低密度パリティ・チェック (LDPC) コードは、他の種類のコードに対していくつかの利点がある。
提案手法は,既存の人気符号の復号性能を桁違いに向上させる。
論文 参考訳(メタデータ) (2024-06-09T12:08:56Z) - Spherical and Hyperbolic Toric Topology-Based Codes On Graph Embedding
for Ising MRF Models: Classical and Quantum Topology Machine Learning [0.11805137592431453]
本稿では,Isingモデルの基底状態を記述するための情報幾何学の適用について紹介する。
このアプローチは、機械学習とエラー訂正コーディングの関連性を確立する。
論文 参考訳(メタデータ) (2023-07-28T19:38:13Z) - The END: An Equivariant Neural Decoder for Quantum Error Correction [73.4384623973809]
データ効率のよいニューラルデコーダを導入し、この問題の対称性を活用する。
本稿では,従来のニューラルデコーダに比べて精度の高い新しい同変アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-04-14T19:46:39Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳(メタデータ) (2020-06-17T05:14:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。