論文の概要: Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks

• arxiv url: http://arxiv.org/abs/2607.21366v1
• Date: Thu, 23 Jul 2026 14:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.443414
• Title: Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks
• Title（参考訳）: Hilbert Operator for Progressive Encoding (HOPE):Deep Networksにおける学習表現の分解のための数学的フレームワーク
• Abstract要約: ディープニューラルネットワークは複雑な表現を符号化するが、この内部知識を分解することは依然として困難である。 学習と圧縮の関連性を考えると、ネットワーク圧縮は、この知識を分析するための有望なレンズを提供する。 Hilbert Operator for Progressiveを紹介します。 HOPEは、訓練されたネットワーク重みの表現を徐々に分解する数学的枠組みである。
• 参考スコア（独自算出の注目度）: 28.874026012129615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks encode complex representations, but deconstructing this internal knowledge remains a challenge. Given the link between learning and compression, network compression offers a promising lens to analyze this knowledge. However, standard compression heuristics often suffer from scale symmetries and architectural biases. To resolve these, we introduce Hilbert Operator for Progressive Encoding (HOPE), a mathematical framework to gradually deconstruct the representations in trained network weights. HOPE shifts network compression from the discrete domain into a Hilbert space of continuous functions. By modeling individual neurons as rank-1 Hilbert-Schmidt operators, HOPE unifies pruning and neuron merging as low-rank subspace projection. Extending this formulation, HOPE introduces macro block eviction to encompass multi-layer structures like entire residual pathways under the same unified metric. This unified approach enables unbiased architectural decisions across layers with different types and sizes. HOPE is a data-free and hyperparameter-free framework. We present proof-of-concept experiments in model compression and fine-tuning to highlight the practical potential of our theory.
• Abstract（参考訳）: ディープニューラルネットワークは複雑な表現を符号化するが、この内部知識を分解することは依然として困難である。 学習と圧縮の関連性を考えると、ネットワーク圧縮は、この知識を分析するための有望なレンズを提供する。 しかし、標準的な圧縮ヒューリスティックは、しばしばスケール対称性とアーキテクチャバイアスに悩まされる。 この問題を解決するために,Hilbert Operator for Progressive Encoding (HOPE) を導入する。 HOPEはネットワーク圧縮を離散領域から連続関数のヒルベルト空間にシフトする。 個々のニューロンをランク1のヒルベルト・シュミット作用素としてモデル化することにより、HOPEはプルーニングとニューロンの融合を低ランク部分空間射影として統一する。 この定式化を拡張して、HOPEはマクロブロックの定式化を導入し、同じ統一計量の下で残留経路全体のような多層構造を包含する。 この統一されたアプローチは、異なるタイプとサイズを持つレイヤ間の不偏のアーキテクチャ上の決定を可能にする。 HOPEはデータフリーでハイパーパラメータフリーのフレームワークである。 本稿では,モデル圧縮および微調整における概念実証実験を行い,本理論の実用的可能性を明らかにする。

関連論文リスト

• 1-Lipschitz Neural Networks on Hadamard Manifolds [19.375426747762518]
  ニューラルネットワークのリプシッツ定数を制御することは、堅牢性と安定性を促進する標準的な方法である。 本研究では,アダマール多様体上の1-Lipschitzニューラルネットワークのクラスを構築し,解析する。 静的,データのみ,Log-Euclideanをベースラインとする非拡張型デノイザによる改善結果を示す。
  論文  参考訳（メタデータ） (2026-07-21T17:54:34Z)
• Consistent Geometric Deep Learning via Hilbert Bundles and Cellular Sheaves [68.683840670745]
  本稿では,多様体上の無限次元信号に対する新しい畳み込み学習フレームワークを提案する。 HilbNetsと、より一般的には、2段階のサンプリング手順により、畳み込み操作を実装できるようにします。 我々の結果は、古典ラプラシア語に基づくフレームワークを、各点の信号が自身のヒルベルト空間に存在するような設定へと持ち上げることで、幾何学的学習の全体範囲を広げる。
  論文  参考訳（メタデータ） (2026-05-07T15:08:58Z)
• Neural Operators Can Discover Functional Clusters [9.0267232149083]
  サンプルベースのニューラル作用素は無限次元再生カーネルヒルベルト空間の任意の有限個のクラスを学習できることを示す。 機能データのためのNOパワークラスタリングパイプラインを開発し、通常の微分方程式(ODE)軌道のラベルのない族に適用する。
  論文  参考訳（メタデータ） (2026-02-26T22:20:34Z)
• Neural Expectation Operators [2.1756081703276]
  本稿では,非線形予測によるあいまいさをモデル化するためのパラダイムであるtextbfMeasure Learningを紹介する。 我々はニューラル期待演算子を、ドライバがニューラルネットワークによってパラメータ化される後方微分方程式(BSDEs)の解として定義する。 本稿では,建築設計による凸性などの重要な公理特性の強化のための建設的手法を提案する。
  論文  参考訳（メタデータ） (2025-07-13T06:19:28Z)
• Riemannian generative decoder [11.807982858405056]
  我々は、任意のリーマン多様体上の多様体値ラテントを求める統一的アプローチを開発する。 我々は,ミトコンドリアDNAからのヒト移行,細胞分裂サイクル中の細胞という3つのケーススタディに対するアプローチを検証した。 提案手法ではデコーダのみが必要であり,既存のアーキテクチャと互換性があり,データ形状に整合した解釈可能な潜在空間が得られる。
  論文  参考訳（メタデータ） (2025-06-23T21:06:13Z)
• Principled Approaches for Extending Neural Architectures to Function Spaces for Operator Learning [78.88684753303794]
  ディープラーニングは主にコンピュータビジョンと自然言語処理の応用を通じて進歩してきた。 ニューラル演算子は、関数空間間のマッピングにニューラルネットワークを一般化する原則的な方法である。 本稿では、無限次元関数空間間の写像の実践的な実装を構築するための鍵となる原理を同定し、蒸留する。
  論文  参考訳（メタデータ） (2025-06-12T17:59:31Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Subspace Capsule Network [85.69796543499021]
  SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。 SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
  論文  参考訳（メタデータ） (2020-02-07T17:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。