論文の概要: Walking the Weight Manifold: a Topological Approach to Conditioning Inspired by Neuromodulation

• arxiv url: http://arxiv.org/abs/2505.22994v1
• Date: Thu, 29 May 2025 02:03:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.620268
• Title: Walking the Weight Manifold: a Topological Approach to Conditioning Inspired by Neuromodulation
• Title（参考訳）: 軽量マニフォールドの歩行 : 神経変調による条件づけへのトポロジカルアプローチ
• Authors: Ari S. Benjamin, Kyle Daruwalla, Christian Pehle, Anthony M. Zador,
• Abstract要約: 脳には異なる戦略があり、パラメータ自体はセロトニンなどの様々な神経調節物質の機能として調節される。 そこで我々は,ニューロ変調からインスピレーションを得て,タスクコンテキスト変数のスムーズなパラメータ化関数である重みを学習することを提案する。
• 参考スコア（独自算出の注目度）: 1.81174609456502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One frequently wishes to learn a range of similar tasks as efficiently as possible, re-using knowledge across tasks. In artificial neural networks, this is typically accomplished by conditioning a network upon task context by injecting context as input. Brains have a different strategy: the parameters themselves are modulated as a function of various neuromodulators such as serotonin. Here, we take inspiration from neuromodulation and propose to learn weights which are smoothly parameterized functions of task context variables. Rather than optimize a weight vector, i.e. a single point in weight space, we optimize a smooth manifold in weight space with a predefined topology. To accomplish this, we derive a formal treatment of optimization of manifolds as the minimization of a loss functional subject to a constraint on volumetric movement, analogous to gradient descent. During inference, conditioning selects a single point on this manifold which serves as the effective weight matrix for a particular sub-task. This strategy for conditioning has two main advantages. First, the topology of the manifold (whether a line, circle, or torus) is a convenient lever for inductive biases about the relationship between tasks. Second, learning in one state smoothly affects the entire manifold, encouraging generalization across states. To verify this, we train manifolds with several topologies, including straight lines in weight space (for conditioning on e.g. noise level in input data) and ellipses (for rotated images). Despite their simplicity, these parameterizations outperform conditioning identical networks by input concatenation and better generalize to out-of-distribution samples. These results suggest that modulating weights over low-dimensional manifolds offers a principled and effective alternative to traditional conditioning.
• Abstract（参考訳）: タスク間の知識を再利用して、可能な限り効率的に類似したタスクを学習したいと考えることがよくあります。 人工ニューラルネットワークでは、通常は、コンテキストを入力として注入することで、タスクコンテキストにネットワークを条件付けすることで達成される。 脳には異なる戦略があり、パラメータ自体はセロトニンなどの様々な神経調節物質の機能として調節される。 そこで我々は,ニューロ変調からインスピレーションを得て,タスクコンテキスト変数のスムーズなパラメータ化関数である重みを学習することを提案する。 ウェイトベクトル、すなわちウェイト空間の単一点を最適化するのではなく、ウェイト空間の滑らかな多様体を事前定義された位相で最適化する。 これを実現するために、勾配勾配に類似した体積運動の制約を受ける損失関数の最小化として、多様体の最適化の形式的処理を導出する。 推論の間、条件付けはこの多様体上の一点を選択し、これは特定の部分タスクの効果的な重み行列として機能する。 この条件付け戦略には2つの大きな利点がある。 まず、多様体の位相(直線、円、トーラスなど)は、タスク間の関係に関する帰納的バイアスに便利なレバーである。 第二に、ある状態における学習は多様体全体に円滑に影響を与え、状態間の一般化を促進する。 これを検証するために、重み空間における直線(入力データにおける e g ノイズレベルを条件付けする)や楕円(回転画像)を含む、いくつかの位相を持つ多様体を訓練する。 その単純さにもかかわらず、これらのパラメータ化は入力連結により同一ネットワークを条件付けし、分布外サンプルにより良い一般化を行う。 これらの結果は、低次元多様体上の重みの変調が、伝統的な条件付けの原則的かつ効果的な代替となることを示唆している。

関連論文リスト

• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
  非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。 我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。 我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
  論文  参考訳（メタデータ） (2022-05-03T09:23:07Z)
• Preprint: Norm Loss: An efficient yet effective regularization method for deep neural networks [7.214681039134488]
  斜め多様体に基づく重み付き軟規則化法を提案する。 本手法は, CIFAR-10, CIFAR-100, ImageNet 2012データセットを用いて評価した。
  論文  参考訳（メタデータ） (2021-03-11T10:24:49Z)
• Density-embedding layers: a general framework for adaptive receptive fields [1.0152838128195467]
  本稿では,密度埋め込み層の理論的枠組みを提案する。 このフレームワークは最近の手法をキャプチャして一般化し、受容場の微調整を可能にする。 本稿では,いくつかの新しいレイヤを定義し,古典的MNISTデータセット上で実験的に検証する。
  論文  参考訳（メタデータ） (2020-06-23T06:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。