論文の概要: Effect of Optimizer, Initializer, and Architecture of Hypernetworks on
Continual Learning from Demonstration
- arxiv url: http://arxiv.org/abs/2401.00524v1
- Date: Sun, 31 Dec 2023 15:43:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 16:54:07.257121
- Title: Effect of Optimizer, Initializer, and Architecture of Hypernetworks on
Continual Learning from Demonstration
- Title（参考訳）: 実証学習におけるハイパーネットワークのオプティマイザ,初期化器,アーキテクチャの影響
- Authors: Sayantan Auddy, Sebastian Bergner, Justus Piater
- Abstract要約: デモから連続学習(CLfD)において、ロボットは人間のデモから現実の動作スキルの連続を継続的に学習する。
適応学習率は良好であることを示すが、ハイパーネットワーク用に特別に設計された初期化器はCLfDには何の利点も与えない。
また、安定した軌道予測が可能なハイパーネットワークは、異なるネットワークアーキテクチャに対して堅牢であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In continual learning from demonstration (CLfD), a robot learns a sequence of
real-world motion skills continually from human demonstrations. Recently,
hypernetworks have been successful in solving this problem. In this paper, we
perform an exploratory study of the effects of different optimizers,
initializers, and network architectures on the continual learning performance
of hypernetworks for CLfD. Our results show that adaptive learning rate
optimizers work well, but initializers specially designed for hypernetworks
offer no advantages for CLfD. We also show that hypernetworks that are capable
of stable trajectory predictions are robust to different network architectures.
Our open-source code is available at
https://github.com/sebastianbergner/ExploringCLFD.
- Abstract（参考訳）: clfd(continual learning from demonstration)では、ロボットは人間のデモから現実世界の動きスキルを継続的に学習する。
近年,ハイパーネットワークがこの問題の解決に成功している。
本稿では,clfd用ハイパーネットワークの連続学習性能に及ぼす最適化器,初期化器,ネットワークアーキテクチャの影響を探索的に検討する。
その結果,適応学習率オプティマイザは良好であるが,ハイパーネットワーク用に特別に設計された初期化器はclfdに何の利点も与えないことがわかった。
また、安定した軌道予測が可能なハイパーネットワークは、異なるネットワークアーキテクチャに対して堅牢であることを示す。
私たちのオープンソースコードはhttps://github.com/sebastianbergner/exploringclfdで利用可能です。
関連論文リスト
- Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳（メタデータ） (2024-02-27T11:52:49Z) - Magnitude Invariant Parametrizations Improve Hypernetwork Learning [0.0]
Hypernetworksは、別のニューラルネットワークのパラメータを予測する強力なニューラルネットワークである。
トレーニングは通常、非ハイパーネットワークモデルよりもはるかにゆっくりと収束する。
我々は、ハイパーネットワークのトレーニングの課題に寄与する、基本的な未確認の問題を識別する。
我々は、MIP(Magnitude Invariant Parametrizations)と呼ばれる改訂されたハイパーネットワークの定式化を用いて、この問題に対する簡単な解決策を提案する。
論文 参考訳（メタデータ） (2023-04-15T22:18:29Z) - Loss shaping enhances exact gradient learning with EventProp in Spiking Neural Networks [0.1350479308585481]
Eventpropは、スパイキングニューラルネットワークの正確な勾配の勾配勾配のアルゴリズムである。
我々は、GPU強化ニューラルネットワークフレームワークにEventpropを実装した。
ネットワークはスパイキングハイデルベルク・ディジットの最先端性能とスパイキング音声コマンドの精度を達成する。
論文 参考訳（メタデータ） (2022-12-02T15:20:58Z) - Continual Learning with Dependency Preserving Hypernetworks [14.102057320661427]
継続学習(CL)問題に対処するための効果的なアプローチは、ターゲットネットワークのタスク依存重みを生成するハイパーネットワークを使用することである。
本稿では,パラメータの効率を保ちながら,依存関係保存型ハイパーネットワークを用いて対象ネットワークの重み付けを生成する手法を提案する。
さらに,RNNベースのハイパーネットワークのための新しい正規化手法とネットワーク成長手法を提案し,継続学習性能をさらに向上させる。
論文 参考訳（メタデータ） (2022-09-16T04:42:21Z) - Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate
Model Predictive Trajectory Tracking [76.27433308688592]
クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。
本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。
提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
論文 参考訳（メタデータ） (2022-06-07T13:51:35Z) - Comparison Analysis of Traditional Machine Learning and Deep Learning
Techniques for Data and Image Classification [62.997667081978825]
本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。
まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。
次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
論文 参考訳（メタデータ） (2022-04-11T11:34:43Z) - Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。
FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。
私たちのコードは公開されます。
論文 参考訳（メタデータ） (2022-02-23T18:23:07Z) - Phase Retrieval using Expectation Consistent Signal Recovery Algorithm
based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。
近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。
我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文 参考訳（メタデータ） (2021-01-12T08:36:23Z) - Continual Learning with Gated Incremental Memories for sequential data
processing [14.657656286730736]
従来の知識を忘れずに動的で非定常的な環境で学習する能力、あるいは継続学習(CL)は、適応型ソリューションのスケーラブルで信頼性の高いデプロイを可能にする重要な手段である。
本研究では,従来の知識を忘れることなく,入力分布における概念ドリフトに対処できるCLのためのリカレントニューラルネットワーク(RNN)モデルを提案する。
論文 参考訳（メタデータ） (2020-04-08T16:00:20Z) - Adaptive Explainable Neural Networks (AxNNs) [8.949704905866888]
我々は、予測性能とモデル解釈可能性の両目標を達成するために、Adaptive Explainable Neural Networks (AxNN) と呼ばれる新しいフレームワークを開発した。
予測性能向上のために,一般化された付加的モデルネットワークと付加的インデックスモデルからなる構造化ニューラルネットワークを構築した。
本稿では,AxNNの結果を主効果と高次相互作用効果に分解する方法を示す。
論文 参考訳（メタデータ） (2020-04-05T23:40:57Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。