論文の概要: Progressive Permutation Alignment with Temperature-Controlled Spectral Sharpening
- arxiv url: http://arxiv.org/abs/2610.29396v1
- Date: Wed, 21 Oct 2026 08:26:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.236137
- Title: Progressive Permutation Alignment with Temperature-Controlled Spectral Sharpening
- Title（参考訳）: 温度制御されたスペクトルシャープニングによる進行的変分アライメント
- Abstract要約: 暗黙的な神経表現では、3D信号はネットワーク重みで直接符号化される。
置換は独立に訓練されるが、機能的に等価なモデルが重量空間において遠方に見えることを引き起こす。
既存のニューロンアライメント法は、早期に離散一致にコミットし、一貫性のない局所オプティマに閉じ込められる。
インプットからアウトプットまでの層間依存関係に従うレイヤワイド戦略であるプログレッシブアライメントを採用しています。
- 参考スコア（独自算出の注目度）: 2.595513192756607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In implicit neural representations (INRs), 3D signals are encoded directly in network weights, making stable weight-space operations essential. However, permutation symmetry causes independently trained yet functionally equivalent models to appear distant in weight space, often inducing large loss barriers under linear interpolation. Existing neuron alignment methods either commit early to discrete matches and become trapped in inconsistent local optima or rely on computationally expensive gradient optimization over continuous relaxations, both of which are unreliable in challenging cases such as NeRF. We adopt progressive alignment, a layer-wise strategy that follows inter-layer dependencies from input to output. At each layer, a correlation matrix is estimated and aligned with a discrete anchor obtained by the Hungarian algorithm, after which temperature-controlled spectral annealing gradually sharpens the correlation structure toward a permutation matrix. This update is deterministic and lightweight, avoiding the inner-loop gradient optimization required by continuous relaxation methods. A final refinement stage further optimizes the network layer-by-layer via weight matching, starting from the aligned solution. Experiments on MLPs, CNNs, and Neural Radiance Fields (NeRFs) show that the proposed method reliably recovers neuron correspondences and achieves stable alignment across architectures. In practical experiments aligning independently trained NeRF models, our method reduces the loss barriers under weight interpolation compared with existing approaches.
- Abstract（参考訳）: 暗黙的神経表現(INR)では、3D信号は直接ネットワーク重みに符号化され、安定した重み空間操作が必須である。
しかし、置換対称性は独立に訓練されたが機能的に等価なモデルが重み空間において遠方に見えることを引き起こし、しばしば線形補間の下で大きな損失障壁を引き起こす。
既存のニューロンアライメント法は、離散一致に早くコミットし、一貫性のない局所最適化に閉じ込められるか、連続緩和よりも計算に高価な勾配最適化に依存している。
インプットからアウトプットまでの層間依存関係に従うレイヤワイド戦略であるプログレッシブアライメントを採用しています。
各層において、ハンガリーのアルゴリズムによって得られた離散アンカーと相関行列を推定して整列し、その後温度制御されたスペクトルアニールにより、置換行列に対する相関構造を徐々に鋭くする。
この更新は決定論的で軽量であり、連続緩和法で要求されるインナーループ勾配の最適化を避ける。
最終精錬段階は、整列解から始まる重みマッチングにより、ネットワーク層毎のネットワーク層を最適化する。
MLP、CNN、Neural Radiance Fields(NeRF)の実験により、提案手法はニューロンの対応性を確実に回復し、アーキテクチャ全体にわたって安定したアライメントを実現することを示す。
独立に訓練されたNeRFモデルと協調する実用実験において,本手法は既存手法と比較して重量補間時の損失障壁を低減する。
関連論文リスト
- Transolver-$σ$: Joint Spectral-Physical Subspace Modeling for Neural PDE Solving [53.58729034895666]
Transolver-$は、結合スペクトル-物理部分空間モデリングに基づくニューラルPDEソルバである。
平均的な相対誤差を33.4%減らし、各基準に対して最強の基準線を上回り、最先端を達成している。
論文 参考訳（メタデータ） (2026-09-29T11:24:19Z) - Structured Neural SDEs for Functional Calibration [1.2107297090229683]
構造化線形層から構築されたニューラルSDEモデルのファミリーであるSLiSDEを紹介する。
層レベルでパラレル・イン・タイム・シミュレーションを行い, ゲート・イン・フロー・スタックリングにより表現性を回復する。
機能キャリブレーションベンチマークの実験では、構造化されたモデルは完全な神経性SDEベースラインよりも優れていた。
論文 参考訳（メタデータ） (2026-09-28T10:25:03Z) - Full-Covariance Smoothing of Bayesian Neural Networks for Online Adaptation [14.14658703018541]
ニューラルネットワークの層は状態空間モデルの時間ステップとして扱うことができる。
フォワードパスはネットワークを介してガウスモーメントを伝搬する。
後向きのRuch--Tung--Striebelパスは、重みの後部を閉じた形で更新する。
論文 参考訳（メタデータ） (2026-09-23T02:27:14Z) - Hybrid Iterative Neural Low-Regularity Integrator for Nonlinear Dispersive Equations [0.0]
HIN-LRIは、古典的な数値解法をニューラルネットワークで拡張し、解法の構造化トランケーション誤差を補正するハイブリッドフレームワークである。
低次元の潜在多様体上で動作する軽量ニューラルネットワークは、分析手法が閉じられない残留欠陥を学習する。
実験により、HIN-LRIは解析的、分割的手法、神経的PDEサロゲートよりも精度を向上し、安定した空間的精細化、効果的なアウト・オブ・ディストリビューション転送、オンラインオーバーヘッドを緩和することが示された。
論文 参考訳（メタデータ） (2026-05-06T12:50:36Z) - Closed-Form Last Layer Optimization [72.49151473937319]
正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。
これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
論文 参考訳（メタデータ） (2025-10-06T09:14:39Z) - Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。
本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2020-09-05T02:25:23Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。