論文の概要: Emergence of hybrid computational dynamics through reinforcement learning

• arxiv url: http://arxiv.org/abs/2510.11162v1
• Date: Mon, 13 Oct 2025 08:53:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.277256
• Title: Emergence of hybrid computational dynamics through reinforcement learning
• Title（参考訳）: 強化学習によるハイブリッド計算力学の創発
• Authors: Roman A. Kononov, Nikita A. Pospelov, Konstantin V. Anokhin, Vladimir V. Nekorkin, Oleg V. Maslennikov,
• Abstract要約: 強化学習と教師付き学習がニューラルネットワークを根本的に異なる計算ソリューションへと導くことを示す。 また,RL彫刻は暗黙の正則化の強力な形態を通じて,機能的にバランスのとれた神経集団を彫刻することを示した。 本結果は,創発的計算の第一決定因子として学習アルゴリズムを確立した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how learning algorithms shape the computational strategies that emerge in neural networks remains a fundamental challenge in machine intelligence. While network architectures receive extensive attention, the role of the learning paradigm itself in determining emergent dynamics remains largely unexplored. Here we demonstrate that reinforcement learning (RL) and supervised learning (SL) drive recurrent neural networks (RNNs) toward fundamentally different computational solutions when trained on identical decision-making tasks. Through systematic dynamical systems analysis, we reveal that RL spontaneously discovers hybrid attractor architectures, combining stable fixed-point attractors for decision maintenance with quasi-periodic attractors for flexible evidence integration. This contrasts sharply with SL, which converges almost exclusively to simpler fixed-point-only solutions. We further show that RL sculpts functionally balanced neural populations through a powerful form of implicit regularization -- a structural signature that enhances robustness and is conspicuously absent in the more heterogeneous solutions found by SL-trained networks. The prevalence of these complex dynamics in RL is controllably modulated by weight initialization and correlates strongly with performance gains, particularly as task complexity increases. Our results establish the learning algorithm as a primary determinant of emergent computation, revealing how reward-based optimization autonomously discovers sophisticated dynamical mechanisms that are less accessible to direct gradient-based optimization. These findings provide both mechanistic insights into neural computation and actionable principles for designing adaptive AI systems.
• Abstract（参考訳）: ニューラルネットワークに現れる計算戦略を学習アルゴリズムがどう形成するかを理解することは、マシンインテリジェンスにおける根本的な課題である。 ネットワークアーキテクチャは広く注目されているが、創発的ダイナミクス決定における学習パラダイムの役割は、まだ明らかにされていない。 ここでは、強化学習(RL)と教師付き学習(SL)が、同じ意思決定タスクで訓練された場合、リカレントニューラルネットワーク(RNN)を根本的に異なる計算ソリューションへと導くことを示す。 系統的力学系解析により,RLは任意にハイブリッドアトラクタアーキテクチャを発見し,安定な固定点アトラクタと準周期アトラクタを組み合わせることでフレキシブルエビデンス統合を実現する。 これは、より単純な不動点のみの解にほぼ排他的に収束する SL とは対照的である。 さらに、RLは暗黙の正則化という強力な形態によって機能的にバランスの取れた神経集団を彫刻し、強靭性を高め、SL学習されたネットワークで見られるより異質な解に顕著に欠落していることを示す。 RLにおけるこれらの複雑なダイナミクスの頻度は、ウェイト初期化によって制御的に変調され、特にタスクの複雑さが増加するにつれて、パフォーマンスの上昇と強く相関する。 この結果から,直接勾配に基づく最適化では不可能な高度な動的メカニズムを,報酬ベースの最適化が自律的に発見する方法が明らかになった。 これらの発見は、ニューラルネットワークに関する力学的な洞察と、適応型AIシステムを設計するための実行可能な原則の両方を提供する。

関連論文リスト

• Dynamical Learning in Deep Asymmetric Recurrent Neural Networks [1.3421746809394772]
  非対称なディープリカレントニューラルネットワークは、指数関数的に大きく、密度の高い内部表現の多様体を生み出すことを示す。 本稿では,再帰的ダイナミクスからインプット・アウトプット・アソシエーションが自然に出現する分散学習手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T12:05:09Z)
• Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis [33.73453802399709]
  本稿では,二元化ニューラルネットワーク(BNN)を第1のプロキシとして用いて,アルゴリズム情報理論へのシフトを提案する。 ブロック分解法 (BDM) を適用し, エントロピーよりもトレーニング中の構造変化をより綿密に追跡した。 これらの結果は、学習が構造化正規性の進行的内部化に対応するアルゴリズム圧縮の過程としてのトレーニングの観点を支持する。
  論文  参考訳（メタデータ） (2025-05-27T02:51:36Z)
• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
  人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。 以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。 これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
  論文  参考訳（メタデータ） (2024-09-22T23:19:04Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios [51.94807626839365]
  限定データによる微分方程式の解法として,注目型数値解法(AttNS)を提案する。 AttNSは、モデル一般化とロバスト性の向上におけるResidual Neural Networks(ResNet)のアテンションモジュールの効果にインスパイアされている。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。