論文の概要: Thermodynamic limit in learning period three

• arxiv url: http://arxiv.org/abs/2405.08825v1
• Date: Sun, 12 May 2024 17:57:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 15:24:45.348686
• Title: Thermodynamic limit in learning period three
• Title（参考訳）: 学習3期における熱力学限界
• Authors: Yuichiro Terasaki, Kohei Nakajima,
• Abstract要約: 周期 3 の連続した一次元写像はすべての周期を含む。 周期軌道は3つのデータポイントのみを学習することで得られるか? ランダムニューラルネットワークを用いた学習期間3について検討し,それに関連する普遍性について報告する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A continuous one-dimensional map with period three includes all periods. This raises the following question: Can we obtain any types of periodic orbits solely by learning three data points? We consider learning period three with random neural networks and report the universal property associated with it. We first show that the trained networks have a thermodynamic limit that depends on the choice of target data and network settings. Our analysis reveals that almost all learned periods are unstable and each network has its characteristic attractors (which can even be untrained ones). Here, we propose the concept of characteristic bifurcation expressing embeddable attractors intrinsic to the network, in which the target data points and the scale of the network weights function as bifurcation parameters. In conclusion, learning period three generates various attractors through characteristic bifurcation due to the stability change in latently existing numerous unstable periods of the system.
• Abstract（参考訳）: 周期 3 の連続した一次元写像はすべての周期を含む。 周期軌道は3つのデータポイントだけを学習することで得られるのか? ランダムニューラルネットワークを用いた学習期間3について検討し,それに関連する普遍性について報告する。 まず、トレーニングされたネットワークには、ターゲットデータとネットワーク設定の選択に依存する熱力学的制限があることを示します。 分析の結果,学習期間のほとんどすべてが不安定であり,各ネットワークに特有のアトラクタ(トレーニングされていない場合もある)があることがわかった。 本稿では,ネットワークに固有の埋め込み型アトラクタを表現した特性分岐の概念を提案し,対象データポイントとネットワーク重みのスケールを分岐パラメータとして機能させる。 結論として、学習期間3は、システムの最近に存在する多数の不安定な期間の安定性の変化により、特徴的分岐によって様々な誘引子を生成する。

関連論文リスト

• Memorization With Neural Nets: Going Beyond the Worst Case [5.03863830033243]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 本稿では、3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを提案する。 サンプル数に依存しない保証を得るため、最悪の記憶能力限界を超えて移動します。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• Bayes Complexity of Learners vs Overfitting [4.873362301533825]
  関数の複雑性という新しい概念が、PACベイズのような一般化境界を支配していることを示す。 従来の研究とは対照的に、我々は自然に複数の層を持つニューラルネットワークに一般化している。 上界の導出により、2層と4層ニューラルネットワークの良好な一般化に必要なサンプル数の分離が図れる。
  論文  参考訳（メタデータ） (2023-03-13T13:07:02Z)
• Deep learning delay coordinate dynamics for chaotic attractors from partial observable data [0.0]
  深層ニューラルネットワークを用いて離散時間マップと部分状態の連続時間フローを学習する。 我々は, 3次元多様体上のスカラー観測から, ロレンツ系を経由したカオス挙動を予測するために, 深部ANNの能力を示す。
  論文  参考訳（メタデータ） (2022-11-20T19:25:02Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Curvature-informed multi-task learning for graph networks [56.155331323304]
  最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。 この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
  論文  参考訳（メタデータ） (2022-08-02T18:18:41Z)
• Growth of entanglement of generic states under dual-unitary dynamics [77.34726150561087]
  デュアルユニタリ回路(英: Dual-unitary circuits)は、局所的に相互作用する量子多体系のクラスである。 特に、それらは「可解」な初期状態のクラスを認めており、熱力学の極限では、完全な非平衡力学にアクセスできる。 この場合、時間段階における絡み合いの増大は有限時間に対して極大であるが、無限時間極限における極大値に近付く。
  論文  参考訳（メタデータ） (2022-07-29T18:20:09Z)
• Construction and the ergodicity properties of dual unitary quantum circuits [0.0]
  基本量子ゲートが双対ユニタリであるタイプの1次元量子回路を考える。 我々は,2つのユニタリゲートの既存構成を概観し,いくつかのケースでそれらを新しいアイデアで補足する。 このようなモデルにおける再発時間の簡単な数学的処理は、Roland Bacher と Denis Serre の Appendix で紹介されている。
  論文  参考訳（メタデータ） (2022-01-19T18:09:34Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)
• Entanglement formation in continuous-variable random quantum networks [1.14219428942199]
  絡み合いは、実用的な情報処理タスクにおいて量子アドバンテージを実現する重要なリソースである。 本研究では、任意のネットワーク上のアンサンブル平均エンタングルメントダイナミクスをグラフ上のランダムウォークプロセスにマッピングすることにより、連続変数量子ネットワークに研究を拡張する。 我々は、スキーズが絡み合いの発生源であり、放物的光円錐による絡み合いの拡散を引き起こす。
  論文  参考訳（メタデータ） (2020-05-26T18:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。