論文の概要: Traversing the solution space of neural networks with Hessian Null Space Continuation

• arxiv url: http://arxiv.org/abs/2609.38081v1
• Date: Tue, 29 Sep 2026 17:38:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.793027
• Title: Traversing the solution space of neural networks with Hessian Null Space Continuation
• Title（参考訳）: Hessian Null空間継続によるニューラルネットワークの解空間のトラバース
• Abstract要約: Hessian Null Space Continuation (HNC) は、局所曲率を用いて重み空間の領域を横切るスケーラブルな方法である。 メモリタスクでトレーニングされたRNNでは、HNCは動作の維持とともに、非常に異なる表現と動的に到達します。 ImageNetでトレーニングされた視覚変換器では、HNCは、アーキテクチャや目的が異なる独立した訓練されたモデルよりも、元のネットワークとは異なる表現を見つける。
• 参考スコア（独自算出の注目度）: 6.0239728594260695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On a single task, deep networks can learn many solutions, depending on their optimizer, training data, architecture, and hyperparameters. Many of these solutions are mode-connected: rather than isolated points in weight space, they are connected by low-loss regions. Yet how their internal computation varies within these regions is unknown. A parallel line of work has identified the degeneracy of neural representations: many networks reach similar training loss with distinct internal structures. However, it is unclear how these solutions are related in weight space. We unify these subfields and show for the first time that many different internal mechanisms exist within a local mode-connected region in weight space. To do so, we introduce Hessian Null Space Continuation (HNC), a scalable method that uses local curvature to traverse regions of weight space that preserve network function, and can be steered toward solutions with specified properties. In RNNs trained on a memory task, HNC reaches drastically different representations and dynamics with maintained behavior. In ImageNet-trained Vision Transformers, HNC finds representations that differ more from the original network than any independently trained model with a different architecture or objective. In reinforcement-learning agents, HNC uncovers a distinct navigation strategy at comparable return and exposes reward hacking in an AI Safety Gridworld. Finally, HNC measures the local geometry of the solution set, showing how model size and task complexity shape its dimension and functional sensitivity. Our results show that a surprisingly large amount of representational diversity exists near a single trained solution, unseen by standard gradient-based optimization. HNC identifies and quantifies this diversity, opening new possibilities for mechanistic understanding of solution spaces and for model merging, editing, and fine-tuning.
• Abstract（参考訳）: ひとつのタスクでディープネットワークは、最適化やデータ、アーキテクチャ、ハイパーパラメータのトレーニングによって、多くのソリューションを学習することができる。 これらの解の多くはモード連結であり、重み空間の孤立点ではなく、低損失領域で接続される。 しかし、これらの領域内で内部計算がどのように変化するかは不明である。 多くのネットワークは、異なる内部構造を持つ同様のトレーニング損失に達する。 しかし、これらの解が重み空間においてどのように関係しているかは不明である。 これらの部分体を統一し、ウェイト空間内の局所モード連結領域内に多くの異なる内部機構が存在することを示す。 そこで我々は,ヘッセンヌル空間継続法(Hessian Null Space Continuation, HNC)を提案する。 メモリタスクでトレーニングされたRNNでは、HNCは動作の維持とともに、大幅に異なる表現とダイナミクスに到達する。 ImageNetでトレーニングされた視覚変換器では、HNCは、アーキテクチャや目的が異なる独立した訓練されたモデルよりも、元のネットワークとは異なる表現を見つける。 強化学習エージェントでは、HNCは同等のリターンで独自のナビゲーション戦略を明らかにし、AIセーフティグリッドワールドで報酬のハッキングを公開する。 最後に、HNCは解集合の局所幾何学を測定し、モデルのサイズとタスクの複雑さがどのようにその次元と機能感度を形作るかを示す。 この結果から, 標準勾配に基づく最適化では見つからない, 単一の学習された解の近くに, 驚くほど多くの表現多様性が存在することが示唆された。 HNCはこの多様性を特定し、定量化し、解空間の機械的理解とモデルマージ、編集、微調整のための新たな可能性を開く。

関連論文リスト

• Neural-Schwarz Tiling for Geometry-Universal PDE Solving at Scale [0.0]
  私たちは、フルドメインのソリューション演算子から再利用可能なローカル物理ソルバへ学習を移行する、ローカルからグローバルなフレームワークである$textbfNEST$(textbfS$chwarz $textbfT$iling)を紹介します。 NESTは、さまざまなローカルジオメトリとバウンダリ/インターフェースデータを備えた、最小限のボクセルパッチ上のニューラル演算子を学習する。 以上の結果から,Schwarz反復による局所的ニューラルネットワーク構築ブロックは,スケーラブルな学習型PDE解法への再利用可能な局所学習パスを提供することがわかった。
  論文  参考訳（メタデータ） (2026-05-12T16:20:26Z)
• SAND: Spatially Adaptive Network Depth for Fast Sampling of Neural Implicit Surfaces [91.71563221166417]
  入射神経表現は幾何学的モデリングには強力であるが、その実用性は高い計算コストによって制限されることが多い。 本稿では,空間適応型ネットワーク深度を用いた効率的なニューラル暗黙的幾何表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-15T14:14:17Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression [28.851519959657466]
  本稿では,ベクトル値ニューラルネットワークの解析のための新しい理論的枠組みを提案する。 この研究の重要な貢献は、ベクトル値変動空間に対する表現定理の開発である。 これらのベクトル値変動空間に関連するノルムは、複数のタスクに有用な特徴の学習を促進する。
  論文  参考訳（メタデータ） (2023-05-25T23:32:10Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Multi-Subspace Neural Network for Image Recognition [33.61205842747625]
  画像分類タスクでは, 特徴抽出は常に大きな問題であり, クラス内変動により抽出器の設計が困難になる。 近年、ディープラーニングはデータから機能を自動的に学習することに多くの注意を払っている。 本研究では,畳み込みニューラルネットワーク(CNN)のキーコンポーネントをサブスペースの概念と組み合わせたマルチサブスペースニューラルネットワーク(MSNN)を提案する。
  論文  参考訳（メタデータ） (2020-06-17T02:55:34Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)
• Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations [2.3018169548556977]
  本稿では,2層ニューラルネットワークにおける線形整流ユニットが解空間の容量および幾何学的景観に与える影響について検討する。 予想外のことに、隠れた層内のニューロン数が増加するにつれて、ネットワークの容量は有限であることがわかった。 おそらくもっと重要なことは、大きな偏差のアプローチによって、解空間の幾何学的景観が特異な構造を持つことを見つけることができるということである。
  論文  参考訳（メタデータ） (2019-07-17T15:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。