論文の概要: Learn to Synchronize, Synchronize to Learn

• arxiv url: http://arxiv.org/abs/2010.02860v3
• Date: Tue, 11 May 2021 08:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:18:18.451008
• Title: Learn to Synchronize, Synchronize to Learn
• Title（参考訳）: 同期、同期、学習を学ぶ
• Authors: Pietro Verzelli and Cesare Alippi and Lorenzo Livi
• Abstract要約: 本稿では,Reservoir Computing (RC) を訓練して汎用的なタスクを解く際に,一般化同期が果たす役割を分析する。 GSは,入力信号を生成するシステムをその力学に正しくエンコードする方法を示す。 また、このプロセスにおいてエルゴード性が果たす役割についても検討し、その存在によって学習結果が複数の入力軌跡に適用できることを示す。
• 参考スコア（独自算出の注目度）: 17.410653711408827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the machine learning community has seen a continuous growing interest in research aimed at investigating dynamical aspects of both training procedures and machine learning models. Of particular interest among recurrent neural networks we have the Reservoir Computing (RC) paradigm characterized by conceptual simplicity and a fast training scheme. Yet, the guiding principles under which RC operates are only partially understood. In this work, we analyze the role played by Generalized Synchronization (GS) when training a RC to solve a generic task. In particular, we show how GS allows the reservoir to correctly encode the system generating the input signal into its dynamics. We also discuss necessary and sufficient conditions for the learning to be feasible in this approach. Moreover, we explore the role that ergodicity plays in this process, showing how its presence allows the learning outcome to apply to multiple input trajectories. Finally, we show that satisfaction of the GS can be measured by means of the Mutual False Nearest Neighbors index, which makes effective to practitioners theoretical derivations.
• Abstract（参考訳）: 近年、機械学習コミュニティは、トレーニング手順と機械学習モデルの両方の動的側面を調査することを目的とした研究に継続的に関心を寄せている。 特に、リカレントニューラルネットワークには、概念的単純さと高速なトレーニングスキームによって特徴づけられるリザーバコンピューティング(rc)パラダイムがある。 しかし、RCが運用する指針原理は部分的には理解されていない。 本研究では,一般化同期(GS)がRCを訓練して汎用タスクを解く際に果たす役割を解析する。 特に,gsにより入力信号を生成するシステムが,そのダイナミクスに正しくエンコードされることを示す。 また,本手法で学習可能となるために必要な,十分な条件についても論じる。 さらに,このプロセスにおいてエルゴディディティが果たす役割について考察し,その存在によって学習結果が複数の入力軌跡に適用できることを示す。 最後に, GS の満足度は, 相互False Nearest Neighbors index を用いて測定できることを示し, 実践者の理論的導出に有効であることを示した。

関連論文リスト

• Exploiting Task Relationships for Continual Learning Using Transferability-Aware Task Embeddings [8.000144830397911]
  連続学習(CL)は、ディープニューラルネットワークの現代的応用において重要なトピックである。 本稿では,H-embedding(H-embedding)という名前の伝達可能性を考慮したタスク埋め込みを提案し,その指導の下でハイパーネットをトレーニングし,CLタスクのタスク条件付きモデル重みを学習する。
  論文  参考訳（メタデータ） (2025-02-17T09:52:19Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Exploring the Precise Dynamics of Single-Layer GAN Models: Leveraging Multi-Feature Discriminators for High-Dimensional Subspace Learning [0.0]
  サブスペース学習の観点から,単層GANモデルのトレーニングダイナミクスについて検討する。 解析をサブスペース学習の領域にブリッジすることで,従来の手法と比較してGAN法の有効性を体系的に比較する。
  論文  参考訳（メタデータ） (2024-11-01T10:21:12Z)
• Mechanistic Interpretability of Reinforcement Learning Agents [0.0]
  本稿では、手続き的迷路環境下で訓練されたニューラルネットワークを用いて、強化学習(RL)エージェントの機械論的解釈可能性について検討する。 ネットワークの内部動作を分離することにより、迷路の壁や経路などの基本的な特徴を特定し、モデルの意思決定プロセスの基礎を形成しました。
  論文  参考訳（メタデータ） (2024-10-30T21:02:50Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Recurrent networks recognize patterns with low-dimensional oscillations [0.0]
  本研究では、SETカードゲームにインスパイアされた簡単なタスクで訓練されたリカレントニューラルネットワーク(RNN)を解釈することにより、パターン認識のための新しい動的メカニズムを提案する。 我々は、訓練されたRNNを、有限状態オートマトン(FSA)の遷移に類似した方法で、低次元極限サイクルにおける位相シフトによるパターンの認識であると解釈した。
  論文  参考訳（メタデータ） (2023-10-11T21:25:12Z)
• CoopInit: Initializing Generative Adversarial Networks via Cooperative Learning [50.90384817689249]
  CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。 本稿では,画像生成における提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-03-21T07:49:32Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• A Free Lunch from the Noise: Provable and Practical Exploration for Representation Learning [55.048010996144036]
  ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。 本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
  論文  参考訳（メタデータ） (2021-11-22T19:24:57Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。