論文の概要: Learn to Synchronize, Synchronize to Learn
- arxiv url: http://arxiv.org/abs/2010.02860v3
- Date: Tue, 11 May 2021 08:41:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 05:18:18.451008
- Title: Learn to Synchronize, Synchronize to Learn
- Title(参考訳): 同期、同期、学習を学ぶ
- Authors: Pietro Verzelli and Cesare Alippi and Lorenzo Livi
- Abstract要約: 本稿では,Reservoir Computing (RC) を訓練して汎用的なタスクを解く際に,一般化同期が果たす役割を分析する。
GSは,入力信号を生成するシステムをその力学に正しくエンコードする方法を示す。
また、このプロセスにおいてエルゴード性が果たす役割についても検討し、その存在によって学習結果が複数の入力軌跡に適用できることを示す。
- 参考スコア(独自算出の注目度): 17.410653711408827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, the machine learning community has seen a continuous growing
interest in research aimed at investigating dynamical aspects of both training
procedures and machine learning models. Of particular interest among recurrent
neural networks we have the Reservoir Computing (RC) paradigm characterized by
conceptual simplicity and a fast training scheme. Yet, the guiding principles
under which RC operates are only partially understood. In this work, we analyze
the role played by Generalized Synchronization (GS) when training a RC to solve
a generic task. In particular, we show how GS allows the reservoir to correctly
encode the system generating the input signal into its dynamics. We also
discuss necessary and sufficient conditions for the learning to be feasible in
this approach. Moreover, we explore the role that ergodicity plays in this
process, showing how its presence allows the learning outcome to apply to
multiple input trajectories. Finally, we show that satisfaction of the GS can
be measured by means of the Mutual False Nearest Neighbors index, which makes
effective to practitioners theoretical derivations.
- Abstract(参考訳): 近年、機械学習コミュニティは、トレーニング手順と機械学習モデルの両方の動的側面を調査することを目的とした研究に継続的に関心を寄せている。
特に、リカレントニューラルネットワークには、概念的単純さと高速なトレーニングスキームによって特徴づけられるリザーバコンピューティング(rc)パラダイムがある。
しかし、RCが運用する指針原理は部分的には理解されていない。
本研究では,一般化同期(GS)がRCを訓練して汎用タスクを解く際に果たす役割を解析する。
特に,gsにより入力信号を生成するシステムが,そのダイナミクスに正しくエンコードされることを示す。
また,本手法で学習可能となるために必要な,十分な条件についても論じる。
さらに,このプロセスにおいてエルゴディディティが果たす役割について考察し,その存在によって学習結果が複数の入力軌跡に適用できることを示す。
最後に, GS の満足度は, 相互False Nearest Neighbors index を用いて測定できることを示し, 実践者の理論的導出に有効であることを示した。
関連論文リスト
- The mechanistic basis of data dependence and abrupt learning in an
in-context classification task [0.3626013617212666]
本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。
インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。
注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
論文 参考訳(メタデータ) (2023-12-03T20:53:41Z) - Recurrent networks recognize patterns with low-dimensional oscillations [0.0]
本研究では、SETカードゲームにインスパイアされた簡単なタスクで訓練されたリカレントニューラルネットワーク(RNN)を解釈することにより、パターン認識のための新しい動的メカニズムを提案する。
我々は、訓練されたRNNを、有限状態オートマトン(FSA)の遷移に類似した方法で、低次元極限サイクルにおける位相シフトによるパターンの認識であると解釈した。
論文 参考訳(メタデータ) (2023-10-11T21:25:12Z) - CoopInit: Initializing Generative Adversarial Networks via Cooperative
Learning [50.90384817689249]
CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。
本稿では,画像生成における提案手法の有効性を示す。
論文 参考訳(メタデータ) (2023-03-21T07:49:32Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳(メタデータ) (2022-11-14T19:53:15Z) - Curriculum Reinforcement Learning using Optimal Transport via Gradual
Domain Adaptation [46.103426976842336]
強化学習(CRL)は、簡単なタスクから始まり、徐々に難しいタスクへと学習する一連のタスクを作成することを目的としている。
本研究では、ソース(補助的)とターゲットタスク分布の間のカリキュラムとしてCRLをフレーミングするという考え方に焦点をあてる。
半教師付き学習における段階的ドメイン適応の洞察に触発されて、CRLのタスク分散シフトを小さなシフトに分解することで、自然なカリキュラムを作成する。
論文 参考訳(メタデータ) (2022-10-18T22:33:33Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Joint-bone Fusion Graph Convolutional Network for Semi-supervised
Skeleton Action Recognition [65.78703941973183]
本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。
具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。
自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
論文 参考訳(メタデータ) (2022-02-08T16:03:15Z) - A Free Lunch from the Noise: Provable and Practical Exploration for
Representation Learning [55.048010996144036]
ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。
本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
論文 参考訳(メタデータ) (2021-11-22T19:24:57Z) - Mixture-of-Variational-Experts for Continual Learning [0.0]
学習と忘れのトレードオフを促進する最適原理を提案する。
我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。
MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
論文 参考訳(メタデータ) (2021-10-25T06:32:06Z) - Reinforcement Learning with Prototypical Representations [114.35801511501639]
Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。
これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。
これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
論文 参考訳(メタデータ) (2021-02-22T18:56:34Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳(メタデータ) (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。