論文の概要: Linking Rapid Learning to Compositional Structure in Neural Networks: Evidence from Additive Analogies in Meta-Learned Parameter Spaces
- arxiv url: http://arxiv.org/abs/2611.17314v1
- Date: Thu, 12 Nov 2026 18:57:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.599401
- Title: Linking Rapid Learning to Compositional Structure in Neural Networks: Evidence from Additive Analogies in Meta-Learned Parameter Spaces
- Title(参考訳): ニューラルネットワークにおける素早い学習と構成構造のリンク:メタラーニングパラメータ空間における付加的アナロジーからの証拠
- Abstract要約: メタラーニングによって最適化されたニューラルネットワークについて検討する。
これまでの研究で、これらのメタ学習ネットワークは、新しい機能を迅速に学習できることが示されている。
この結果から,メタ学習がネットワークの開始点を調整し,その後の学習を組織化できることが示唆された。
- 参考スコア(独自算出の注目度): 5.242425502046959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans can learn rapidly from limited experience, while neural networks typically require extensive training. In this work, we investigate what properties of a neural network can enable it to learn rapidly. We study neural networks that have been optimized via meta-learning, a technique that exposes a network to many related functions to facilitate its subsequent learning of similar functions. Prior work has shown that these meta-learned networks can learn new functions rapidly, but how they do so remains unclear. To investigate their internal structure, we take inspiration from classic work demonstrating additive relationships among the learned vectors that neural networks use to represent words (e.g., "king" minus "man" plus "woman" approximates "queen"). Analogously, we look for additive relationships among a meta-learned network's "representations" of different functions; when a meta-learned network rapidly learns to implement a specific function, all of its adapted parameter values can be concatenated into a single vector that we treat as representing the function. We find that such parameter vectors can be added and subtracted according to symbolic relationships among the functions they represent, yielding new parameter vectors that successfully represent the functions predicted by the corresponding symbolic manipulations: the networks specified by these artificially recombined vectors actually implement the intended functions without any direct training on them. Our results suggest that meta-learning can tune a network's starting point to organize subsequent learning along systematic, functionally meaningful trajectories through the space of possible parameter vectors, providing a geometric basis for realizing inductive biases in neural networks.
- Abstract(参考訳): 人間は限られた経験から素早く学習できますが、ニューラルネットワークは通常、広範なトレーニングが必要です。
本研究では,ニューラルネットワークが高速に学習できる特性について検討する。
メタラーニング(メタラーニング)により最適化されたニューラルネットワークについて検討する。これは、ネットワークを多くの関連する機能に公開し、その後の類似関数の学習を容易にする技術である。
これまでの研究は、これらのメタ学習ネットワークが新しい機能を迅速に学習できることを示してきたが、その方法はまだ不明である。
内部構造を調べるために、ニューラルネットワークが単語を表現するために使用する学習ベクトル間の付加的な関係を示す古典的な研究から着想を得た(例: "king" minus "man" プラス "woman" は "queen" と近似する)。
メタ学習ネットワークが特定の関数の実装を素早く学習すると、そのパラメータの値はすべて、関数を表現として扱う単一のベクトルに分解できる。
これらのパラメータベクトルは、それらが表す関数間のシンボリックな関係に従って追加および減算することができ、対応するシンボリックな操作によって予測される関数をうまく表現する新しいパラメータベクトルが得られる。
この結果から,メタラーニングは,ニューラルネットワークの帰納バイアスを実現するための幾何学的基礎となるパラメータベクトルの空間を通じて,体系的かつ機能的に意味のある軌道に沿って,その後の学習を組織化するために,ネットワークの出発点を調整できることが示唆された。
関連論文リスト
- Mesoscopic learning dynamics of extensive-width neural networks [13.146886058428352]
本研究では、リッチターゲット関数で訓練された広範ニューラルネットワークにおいて、勾配降下が内部表現をどのように学習するかを検討する。
重なりの分布を特徴付けることで,メソスコピックな学習記述を開発する。
広帯域ネットワークにおける特殊化は二次遮蔽機構によって加速される。
論文 参考訳(メタデータ) (2026-10-16T17:12:43Z) - Interpreting Language Model Parameters [4.3749174455327]
機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークがそれらのパラメータを使って、印象的なニューラルネットワークを実装する方法を明らかにすることを目的としている。
本稿では,言語モデルのパラメータをサブコンポーネントに分解することで,この理解に近づける手法を提案する。
本稿では,これらのパラメータサブコンポーネント間の相互作用のシーケンスが,特定の入力に対してネットワークの出力を生成する方法について検討する。
論文 参考訳(メタデータ) (2026-10-14T18:06:00Z) - Permutation-Equivariant Flow Matching for Alignment-Free Neural Weight Generation [65.70290789922743]
フローマッチング速度場を置換同変グラフメタネットワークでパラメータ化する。
実験により,本手法は,独立に訓練されたコレクションの精度,機能的類似度,重量類似度に関する共同統計を密接に再現することを示した。
論文 参考訳(メタデータ) (2026-09-26T18:04:17Z) - Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。
我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
論文 参考訳(メタデータ) (2024-07-19T20:50:57Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳(メタデータ) (2024-06-24T14:50:05Z) - Feature Network Methods in Machine Learning and Applications [0.0]
機械学習(ML)機能ネットワーク(英: machine learning feature network)は、機械学習タスクにおけるML機能を、その類似性に基づいて接続するグラフである。
本稿では,機能クラスタリングとフィードフォワード学習によって階層的な接続が形成される,深い木構造特徴ネットワークの例を示す。
論文 参考訳(メタデータ) (2024-01-10T01:57:12Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。
また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。
次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文 参考訳(メタデータ) (2021-08-14T05:14:13Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳(メタデータ) (2021-01-31T11:32:30Z) - Teaching Recurrent Neural Networks to Modify Chaotic Memories by Example [14.91507266777207]
繰り返しニューラルネットワークは,実例のみを用いて複雑な情報の表現を変更できることが示される。
我々は,これらの計算を学習するためのメカニズムを提供し,一つのネットワークが同時に複数の計算を学習できることを実証する。
論文 参考訳(メタデータ) (2020-05-03T20:51:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。