論文の概要: The Inlet Rank Collapse in Implicit Neural Representations: Diagnosis and Unified Remedy

• arxiv url: http://arxiv.org/abs/2602.01526v1
• Date: Mon, 02 Feb 2026 01:38:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.835825
• Title: The Inlet Rank Collapse in Implicit Neural Representations: Diagnosis and Unified Remedy
• Title（参考訳）: 難治性神経表現におけるインレットランクの崩壊 : 診断と統一治療
• Authors: Jianqiao Zheng, Hemanth Saratchandran, Simon Lucey,
• Abstract要約: Inlicit Neural Representations (INR)は、連続信号モデリングに革命をもたらしたが、有限の訓練予算内で細かな詳細を回復するのに苦労している。 本稿では,低次元の入力座標が高次元の埋め込み空間にまたがらない現象である"Inlet Rank Collapse'"を識別するための構造診断フレームワークを提案する。 アーキテクチャの変更や計算オーバーヘッドを伴わずに、階層幅で表示ランクを拡大する最小主義的な方法であるランク展開初期化(Rランク展開初期化)を導出する。
• 参考スコア（独自算出の注目度）: 30.776360295485762
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Implicit Neural Representations (INRs) have revolutionized continuous signal modeling, yet they struggle to recover fine-grained details within finite training budgets. While empirical techniques, such as positional encoding (PE), sinusoidal activations (SIREN), and batch normalization (BN), effectively mitigate this, their theoretical justifications are predominantly post hoc, focusing on the global NTK spectrum only after modifications are applied. In this work, we reverse this paradigm by introducing a structural diagnostic framework. By performing a layer-wise decomposition of the NTK, we mathematically identify the ``Inlet Rank Collapse'': a phenomenon where the low-dimensional input coordinates fail to span the high-dimensional embedding space, creating a fundamental rank deficiency at the first layer that acts as an expressive bottleneck for the entire network. This framework provides a unified perspective to re-interpret PE, SIREN, and BN as different forms of rank restoration. Guided by this diagnosis, we derive a Rank-Expanding Initialization, a minimalist remedy that ensures the representation rank scales with the layer width without architectural modifications or computational overhead. Our results demonstrate that this principled remedy enables standard MLPs to achieve high-fidelity reconstructions, proving that the key to empowering INRs lies in the structural optimization of the initial rank propagation to effectively populate the latent space.
• Abstract（参考訳）: Inlicit Neural Representations (INR)は、連続信号モデリングに革命をもたらしたが、有限の訓練予算内で細かな詳細を回復するのに苦労している。 位置符号化(PE)、正弦波活性化(SIREN)、バッチ正規化(BN)などの経験的手法は、これを効果的に緩和するが、理論上の正当化は主にポストホックであり、修正後のみグローバルNTKスペクトルに焦点を当てる。 本稿では,構造診断フレームワークを導入することで,このパラダイムを逆転させる。 NTKを階層的に分解することにより、低次元の入力座標が高次元の埋め込み空間にまたがらない現象である'Inlet Rank Collapse'を数学的に同定し、ネットワーク全体の表現的ボトルネックとなる第1層の基本的なランク不足を発生させる。 このフレームワークは、PE、SIREN、BNを異なるランク復元形式として再解釈するための統一的な視点を提供する。 この診断で導かれたランク拡張初期化は、アーキテクチャの変更や計算オーバーヘッドを伴わずに、階層幅で表示ランクを拡大する最小限の治療法である。 この原理により,標準MPPが高忠実度再構成を実現することが可能であり,INRの強化の鍵は,初期階数伝搬の構造的最適化にあることが証明された。

関連論文リスト

• A new initialisation to Control Gradients in Sinusoidal Neural network [9.341735544356167]
  我々は,textttSIRENのような正弦波活性化機能を持つネットワークに対して,新しい初期化を提案する。 グラデーションの制御とターゲティング・プレアクティベーションの消失は、推定中に不適切な周波数が出現するのを防ぐのに役立つ。 新しい初期化は、広範囲の再構築タスクで最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-12-06T13:23:03Z)
• Attention Saturation and Gradient Suppression at Inflection Layers: Diagnosing and Mitigating Bottlenecks in Transformer Adaptation [0.0]
  事前訓練されたトランスフォーマーは、ソースパターンに過剰な自信を示し、微調整中に新しいターゲットドメインパターンを形成するのが困難であることが多い。 我々は、標準のクロスエントロピーおよびソフトマックス解析により、勾配抑制につながる出力飽和のメカニズムを定式化する。 本稿では, 逆方向の抑圧信号の復元のために, インフレクション層にLoRAアダプタを選択的に挿入する, 診断ファーストでインジェクトライトの微調整戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-02T04:32:41Z)
• Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
  バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。 ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。 低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-29T15:03:46Z)
• Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction [65.67001243986981]
  我々は,スケールワイド自己回帰モデルに基づく粗大なfMRI画像再構成フレームワークであるMindHierを提案する。 MindHierは、拡散ベースのベースラインよりも優れたセマンティック忠実さ、4.67倍高速な推論、より決定論的結果を達成する。
  論文  参考訳（メタデータ） (2025-10-25T15:40:07Z)
• Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data [52.737775129027575]
  直交分離可能なデータを分類するための2層ReLUネットワーク上の勾配流がニューラル・コラプス(NC)を示すことを示す。 NCの出現を促進するためのトレーニング力学の暗黙バイアスの役割を明らかにする。
  論文  参考訳（メタデータ） (2025-10-24T01:36:19Z)
• Eigen Neural Network: Unlocking Generalizable Vision with Eigenbasis [5.486667906157719]
  固有ニューラルネットワーク(Eigen Neural Network, ENN)は、各層の重みを再パラメータ化する新しいアーキテクチャである。 標準BPと統合すると、ENNは大規模画像分類ベンチマークにおける最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-02T06:33:58Z)
• Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
  MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。 提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
  論文  参考訳（メタデータ） (2021-06-16T15:56:34Z)
• Non-local Meets Global: An Iterative Paradigm for Hyperspectral Image Restoration [66.68541690283068]
  ハイパースペクトル画像復元のための空間特性とスペクトル特性を組み合わせた統一パラダイムを提案する。 提案するパラダイムは,非局所空間デノゲーションと光計算の複雑さから,性能上の優位性を享受する。 HSI復調、圧縮再構成、塗装タスクの実験は、シミュレーションと実際のデータセットの両方で、その優位性を示している。
  論文  参考訳（メタデータ） (2020-10-24T15:53:56Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。