論文の概要: Quantization robustness from dense representations of sparse functions in high-capacity kernel associative memory

• arxiv url: http://arxiv.org/abs/2604.20333v1
• Date: Wed, 22 Apr 2026 08:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:11.044017
• Title: Quantization robustness from dense representations of sparse functions in high-capacity kernel associative memory
• Title（参考訳）: 高容量カーネル連想メモリにおけるスパース関数の密度表現からの量子化ロバスト性
• Authors: Akira Tamamori,
• Abstract要約: Kernel Logistic Regression (KLR) に基づく高容量連想記憶は、その異常な性能で知られているが、高い計算コストによって妨げられている。 本稿では、KLR学習ホップフィールドネットワークの圧縮性について、そのロバスト符号化の幾何学的原理を理解するために検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-capacity associative memories based on Kernel Logistic Regression (KLR) are known for their exceptional performance but are hindered by high computational costs. This paper investigates the compressibility of KLR-trained Hopfield networks to understand the geometric principles of its robust encoding. We provide a comprehensive geometric theory based on spontaneous symmetry breaking and Walsh analysis, and validate it with compression experiments (quantization and pruning). Our experiments reveal a striking contrast: the network is extremely robust to low-precision quantization but highly sensitive to pruning. Our theory explains this via a ``sparse function, dense representation'' principle, where a sparse input mapping is implemented with a dense, bimodal parameterization. Our findings not only provide a practical path to hardware-efficient kernel memories but also offer new insights into the geometric principles of robust representation in neural systems.
• Abstract（参考訳）: Kernel Logistic Regression (KLR) に基づく高容量連想記憶は、その異常な性能で知られているが、高い計算コストによって妨げられている。 本稿では、KLR学習ホップフィールドネットワークの圧縮性について、そのロバスト符号化の幾何学的原理を理解するために検討する。 自然対称性の破れとウォルシュ解析に基づく包括的幾何学理論を提案し、それを圧縮実験(量子化とプルーニング)で検証する。 ネットワークは低精度の量子化に対して非常に堅牢であるが、刈り取りには非常に敏感である。 我々の理論は 'sparse function, dense representation'' 原理を通じてこれを説明しており、スパース入力写像は密度の高いバイモーダルパラメータ化で実装される。 我々の発見は、ハードウェア効率の良いカーネルメモリへの実践的なパスを提供するだけでなく、ニューラルネットワークにおけるロバスト表現の幾何学的原理に関する新たな洞察を提供する。

関連論文リスト

• Contraction, Criticality, and Capacity: A Dynamical-Systems Perspective on Echo-State Networks [13.857230672081489]
  本稿では,機能解析,ランダム・アトラクタ理論,最近の神経科学的な知見を融合した統合的動的システム治療について述べる。 まず,大域リプシッツ力学とともにエコー状態特性(初期条件の洗い出し)がフェーディングメモリ特性をもたらすことを証明した。 第二に、ストーン・ワイエルシュトラスの戦略を用いて、非線形貯水池と線形リードアウトを持つESNが、因果的、タイムイン・フェイディング・メモリ・フィルタのバナッハ空間に密着していることを示す。 第3に、メモリ容量スペクトルを用いて計算資源を定量化し、どのように示すかを示す。
  論文  参考訳（メタデータ） (2025-07-24T14:41:18Z)
• Stochastic Fractional Neural Operators: A Symmetrized Approach to Modeling Turbulence in Complex Fluid Dynamics [0.0]
  我々は、メモリ効果とランダム性が中心的な役割を果たす問題に対処するために設計されたニューラルネットワーク演算子の新しいクラスを導入する。 提案手法は近似品質の理論的保証を提供し,これらのニューラル演算子が複雑なシステムの解析とシミュレーションに有効なツールとなることを示唆している。
  論文  参考訳（メタデータ） (2025-05-12T13:11:08Z)
• A Sampling Theory Perspective on Activations for Implicit Neural Representations [73.6637608397055]
  Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。 サンプリング理論の観点からこれらの活性化を包括的に分析する。 本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
  論文  参考訳（メタデータ） (2024-02-08T05:52:45Z)
• Scalable Neural Network Kernels [22.299704296356836]
  我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。 また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。 我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
  論文  参考訳（メタデータ） (2023-10-20T02:12:56Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
  自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
  論文  参考訳（メタデータ） (2022-05-04T01:27:36Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• Constant-Expansion Suffices for Compressed Sensing with Generative Priors [26.41623833920794]
  我々は、ベシッツではなく、リピート理論性の緩和された概念を満たすようなランダム関数に対する新しい一様濃度を証明した。 WDCは、この問題に関するすべての理論的保証の基本的な集中不等式であるため、我々の既知のすべての改善は、1つ、低ビットリカバリなど、先行した結果に結びついている。
  論文  参考訳（メタデータ） (2020-06-07T19:14:41Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。