論文の概要: Thermodynamic limit in learning period three

• arxiv url: http://arxiv.org/abs/2405.08825v3
• Date: Tue, 28 Jan 2025 12:36:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 22:09:10.816533
• Title: Thermodynamic limit in learning period three
• Title（参考訳）: 学習3期における熱力学限界
• Authors: Yuichiro Terasaki, Kohei Nakajima,
• Abstract要約: 周期 3 の連続した一次元写像はすべての周期を含む。 周期軌道は3つのデータポイントのみを学習することで得られるか? ほぼ全ての学習期間が不安定であり、各ネットワークが特徴的アトラクションを持つことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A continuous one-dimensional map with period three includes all periods. This raises the following question: Can we obtain any types of periodic orbits solely by learning three data points? In this paper, we report the answer to be yes. Considering a random neural network in its thermodynamic limit, we first show that almost all learned periods are unstable and each network has its characteristic attractors (which can even be untrained ones). The latently acquired dynamics, which are unstable within the trained network, serve as a foundation for the diversity of characteristic attractors and may even lead to the emergence of attractors of all periods after learning. When the neural network interpolation is quadratic, a universal post-learning bifurcation scenario appears, which is consistent with a topological conjugacy between the trained network and the classical logistic map. In addition to universality, we explore specific properties of certain networks, including the singular behavior at the infinite scale of weights limit and the symmetry in learning period three.
• Abstract（参考訳）: 周期 3 の連続した一次元写像はすべての周期を含む。 周期軌道は3つのデータポイントだけを学習することで得られるのか? 本稿では,「はい」という回答を報告する。 熱力学限界におけるランダムニューラルネットワークを考えると、まず、学習期間のほとんどすべてが不安定であり、各ネットワークに特徴的なアトラクタ(訓練されていないものさえある)があることが示される。 トレーニングされたネットワーク内で不安定な最近に獲得されたダイナミクスは、特徴的アトラクションの多様性の基礎となり、学習後のすべての期間のアトラクションの出現に繋がる可能性がある。 ニューラルネットワーク補間が二次的であると、訓練されたネットワークと古典ロジスティックマップの間のトポロジカルな共役と一致する、普遍的な学習後分岐シナリオが現れる。 普遍性に加えて、無限スケールのウェイト制限における特異な挙動や学習期間3の対称性など、特定のネットワークの特定の特性についても検討する。

関連論文リスト

• Structured Knowledge Accumulation: The Principle of Entropic Least Action in Forward-Only Neural Learning [0.0]
  ニューラルネットワークのネット関数と特性時間特性の2つの基本概念を紹介する。 学習を時間ベースのプロセスとして理解することで、効率的で堅牢で生物学的にインスパイアされたAIシステムを構築するための新たな方向性を開拓します。
  論文  参考訳（メタデータ） (2025-04-04T07:00:27Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Exact Quantum Trace Formula from Complex Periodic Orbits [0.4506616924250028]
  トレース式の全量子バージョンをLefschetz thimble法を用いて探索する。 我々の重要な革新はサイクル周期の同時複雑化であり、結果として完全に量子トレース公式が導かれる。 この定式化は、量子スペクトルをすべての複雑な時間方向への寄与に結び付け、関連するすべてのホモロジークラスを包含する。
  論文  参考訳（メタデータ） (2024-11-16T03:58:24Z)
• Semi-Classical Subspaces, The No Synchronization Law, and More [6.5268245109828005]
  本稿では,アルゴリズム情報理論と物理の交わりについて考察する。 量子世界と古典的領域の間の障壁を特徴づける定理について議論する。 ブラックホールのコルモゴロフ複雑性に関する今後の研究について考察する。
  論文  参考訳（メタデータ） (2024-07-25T17:09:26Z)
• Solvable entanglement dynamics in quantum circuits with generalized space-time duality [0.0]
  蹴りアイシングモデルの非平衡ダイナミクスを1+1$次元で研究する。 局所性によって許容される最大速度の半分の線形成長から、飽和を伴う絡み合い成長から、広大だが極小エントロピーまで、豊富な現象論が見つかる。
  論文  参考訳（メタデータ） (2023-12-19T15:23:55Z)
• Memorization With Neural Nets: Going Beyond the Worst Case [5.03863830033243]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 本稿では、3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを提案する。 サンプル数に依存しない保証を得るため、最悪の記憶能力限界を超えて移動します。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• Bayes Complexity of Learners vs Overfitting [4.873362301533825]
  関数の複雑性という新しい概念が、PACベイズのような一般化境界を支配していることを示す。 従来の研究とは対照的に、我々は自然に複数の層を持つニューラルネットワークに一般化している。 上界の導出により、2層と4層ニューラルネットワークの良好な一般化に必要なサンプル数の分離が図れる。
  論文  参考訳（メタデータ） (2023-03-13T13:07:02Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• "IT FROM BIT": How does information shape the structures in the universe? [0.0]
  平衡から離れた環境によって支持される準静的情報状態の量子化に関する新しい一般規則を導入する。 この理論的な手順は、非平衡熱力学における情報と複雑性の量子論のさらなる研究のための新しい道を開く必要がある。
  論文  参考訳（メタデータ） (2022-09-24T09:29:41Z)
• Curvature-informed multi-task learning for graph networks [56.155331323304]
  最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。 この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
  論文  参考訳（メタデータ） (2022-08-02T18:18:41Z)
• Growth of entanglement of generic states under dual-unitary dynamics [77.34726150561087]
  デュアルユニタリ回路(英: Dual-unitary circuits)は、局所的に相互作用する量子多体系のクラスである。 特に、それらは「可解」な初期状態のクラスを認めており、熱力学の極限では、完全な非平衡力学にアクセスできる。 この場合、時間段階における絡み合いの増大は有限時間に対して極大であるが、無限時間極限における極大値に近付く。
  論文  参考訳（メタデータ） (2022-07-29T18:20:09Z)
• Predicting the Stability of Hierarchical Triple Systems with Convolutional Neural Networks [68.8204255655161]
  本稿では,階層型三重項の安定性を予測する畳み込みニューラルネットワークモデルを提案する。 すべてのトレーニングされたモデルは公開されており、純粋な$N$-bodyメソッドよりも200ドルの速さで階層的な3重システムの安定性を予測することができる。
  論文  参考訳（メタデータ） (2022-06-24T17:58:13Z)
• Averaging Spatio-temporal Signals using Optimal Transport and Soft Alignments [110.79706180350507]
  Fr'teche は双対性を意味し, 時間的バレシェセンタを定義するために提案した損失が有効であることを示す。 手書き文字と脳画像データによる実験は、我々の理論的発見を裏付けるものである。
  論文  参考訳（メタデータ） (2022-03-11T09:46:22Z)
• Tri-unitary quantum circuits [0.0]
  3つの異なる「時間の狭さ」に沿ってユニタリな量子回路のクラスを導入する。 これらの力学における2点相関は、$(1+1)$-次元時空の3方向のみに厳密に制限される。 回路構成を2+1$次元に拡張し、2点相関関数を四面体光円錐の1次元エッジに限定する。
  論文  参考訳（メタデータ） (2021-06-14T18:10:12Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Concentric Spherical GNN for 3D Representation Learning [53.45704095146161]
  同心球面特徴写像を学習するための新しい多解畳み込みアーキテクチャを提案する。 当社の階層的アーキテクチャは、球内情報と球間情報の両方を組み込むための代替学習に基づいています。 回転データを用いた3次元分類作業における最先端性能向上へのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-18T19:05:04Z)
• Multi-Temporal Convolutions for Human Action Recognition in Videos [83.43682368129072]
  複数の解像度で抽出できる新しい時間・時間的畳み込みブロックを提案する。 提案するブロックは軽量で,任意の3D-CNNアーキテクチャに統合可能である。
  論文  参考訳（メタデータ） (2020-11-08T10:40:26Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)
• Entanglement formation in continuous-variable random quantum networks [1.14219428942199]
  絡み合いは、実用的な情報処理タスクにおいて量子アドバンテージを実現する重要なリソースである。 本研究では、任意のネットワーク上のアンサンブル平均エンタングルメントダイナミクスをグラフ上のランダムウォークプロセスにマッピングすることにより、連続変数量子ネットワークに研究を拡張する。 我々は、スキーズが絡み合いの発生源であり、放物的光円錐による絡み合いの拡散を引き起こす。
  論文  参考訳（メタデータ） (2020-05-26T18:00:22Z)
• Time development of a driven three-level lambda system: A case study [0.0]
  レーザーによって基底状態が励起されるとき、3つのエネルギーレベルを持つシステムを研究することにより、洞察を得ることができる。 3つのエネルギーレベルの時間依存的な職業確率は、システムが時間的にどのように発達するかを学生に示す。
  論文  参考訳（メタデータ） (2020-04-04T14:48:36Z)
• PolarNet: An Improved Grid Representation for Online LiDAR Point Clouds Semantic Segmentation [46.56643626441674]
  そこで本研究では,LiDARに固有の最寄りのセグメンテーションアルゴリズムであるPolarNetを提案する。 実都市LiDAR単走査の3つの分割データセットにおいて,符号化方式がmIoUを大幅に増加させることが判明した。
  論文  参考訳（メタデータ） (2020-03-31T08:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。