論文の概要: High-level Features for Resource Economy and Fast Learning in Skill Transfer

• arxiv url: http://arxiv.org/abs/2106.10354v1
• Date: Fri, 18 Jun 2021 21:05:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 05:14:52.686136
• Title: High-level Features for Resource Economy and Fast Learning in Skill Transfer
• Title（参考訳）: スキル伝達における資源経済と高速学習のための高水準機能
• Authors: Alper Ahmetoglu, Emre Ugur, Minoru Asada, Erhan Oztop
• Abstract要約: ディープネットワークは、ますます複雑な抽象化を形成する能力のために有効であることが証明されている。 以前の作業では、デザイナバイアスを生み出す抽象化の形成を強制するか、多数のニューラルユニットを使用していた。 本稿では,脳神経応答のダイナミクスを利用して,スキル伝達に使用するコンパクトな表現法を提案する。
• 参考スコア（独自算出の注目度）: 0.8602553195689513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Abstraction is an important aspect of intelligence which enables agents to construct robust representations for effective decision making. In the last decade, deep networks are proven to be effective due to their ability to form increasingly complex abstractions. However, these abstractions are distributed over many neurons, making the re-use of a learned skill costly. Previous work either enforced formation of abstractions creating a designer bias, or used a large number of neural units without investigating how to obtain high-level features that may more effectively capture the source task. For avoiding designer bias and unsparing resource use, we propose to exploit neural response dynamics to form compact representations to use in skill transfer. For this, we consider two competing methods based on (1) maximum information compression principle and (2) the notion that abstract events tend to generate slowly changing signals, and apply them to the neural signals generated during task execution. To be concrete, in our simulation experiments, we either apply principal component analysis (PCA) or slow feature analysis (SFA) on the signals collected from the last hidden layer of a deep network while it performs a source task, and use these features for skill transfer in a new target task. We compare the generalization performance of these alternatives with the baselines of skill transfer with full layer output and no-transfer settings. Our results show that SFA units are the most successful for skill transfer. SFA as well as PCA, incur less resources compared to usual skill transfer, whereby many units formed show a localized response reflecting end-effector-obstacle-goal relations. Finally, SFA units with lowest eigenvalues resembles symbolic representations that highly correlate with high-level features such as joint angles which might be thought of precursors for fully symbolic systems.
• Abstract（参考訳）: 抽象化は、エージェントが効果的な意思決定のために堅牢な表現を構築することができるインテリジェンスの重要な側面である。 過去10年間で、ディープネットワークはますます複雑な抽象化を形成する能力のために有効であることが証明されている。 しかし、これらの抽象化は多くのニューロンに分散しており、学習スキルの再使用はコストがかかる。 以前の研究は、デザイナーバイアスを生み出す抽象化の形成を強制するか、より効果的にソースタスクをキャプチャするハイレベルな特徴をどのように取得するかを調査することなく、多数のニューラルユニットを使用した。 設計バイアスとリソース使用の分離を回避するため,ニューラル・レスポンス・ダイナミクスを活用し,スキル転送に使用するコンパクト表現を形成することを提案する。 本研究では,(1)最大情報圧縮原理に基づく競合する2つの手法と(2)抽象事象がゆっくりと変化する信号を生成するという概念を考察し,タスク実行時に発生する神経信号に適用する。 具体的には、シミュレーション実験において、ソースタスクを実行中にディープネットワークの最後の隠れ層から収集した信号に主成分分析(pca)またはスロー特徴解析(sfa)を適用し、これらの特徴を新たな対象タスクにおけるスキル伝達に利用する。 これらの選択肢の一般化性能と、全層出力と無転送設定によるスキル転送のベースラインを比較した。 その結果,sfaユニットはスキルの伝達に最も成功していることがわかった。 SFAとPCAは、通常の技術移転に比べて少ないリソースを消費し、多くのユニットが構成され、エンドエフェクタ-障害物-ゴール関係を反映した局所的な応答を示す。 最後に、最小固有値を持つSFA単位は、完全な記号系の前駆体と考えられる関節角のような高次特徴と高い相関を持つ記号表現に類似している。

関連論文リスト

• Gradient-based inference of abstract task representations for generalization in neural networks [5.794537047184604]
  ニューラルネットワークを介してタスク表現層に逆伝播する勾配は、現在のタスク要求を推測する効率的な方法であることを示す。 勾配に基づく推論は、学習効率の向上と、新しいタスクや制限への一般化をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-07-24T15:28:08Z)
• Knowledge Transfer in Deep Reinforcement Learning via an RL-Specific GAN-Based Correspondence Function [0.0]
  本稿では,強化学習に特化したサイクル生成適応型ネットワークを改良する新しいアプローチを紹介する。 本手法は, 同一タスクにおける100%の知識伝達と, 100%の知識伝達, 30%のトレーニング時間短縮を実現する。
  論文  参考訳（メタデータ） (2022-09-14T12:42:59Z)
• Learning Abstract and Transferable Representations for Planning [25.63560394067908]
  本稿では,エージェントの環境状態の抽象化を自律的に学習するフレームワークを提案する。 これらの抽象化はタスクに依存しないので、新しいタスクを解決するために再利用することができる。 本稿では,これらの可搬型表現と問題固有の表現を組み合わせて,特定のタスクの音響記述を生成する方法について述べる。
  論文  参考訳（メタデータ） (2022-05-04T14:40:04Z)
• INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
  モデルベース強化学習(RL)のための修正目的を提案する。 相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。 本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
  論文  参考訳（メタデータ） (2022-04-18T23:09:23Z)
• Fractional Transfer Learning for Deep Model-Based Reinforcement Learning [0.966840768820136]
  強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。 モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。 簡単な代替手法として、分数変換学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T12:44:42Z)
• Hierarchical Few-Shot Imitation with Skill Transition Models [66.81252581083199]
  FIST(Few-shot Imitation with Skill Transition Models)は、オフラインデータからスキルを抽出し、それらを利用して見えないタスクに一般化するアルゴリズムである。 本稿では,FISTが新たなタスクに一般化し,ナビゲーション実験において従来のベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-07-19T15:56:01Z)
• Emergent Symbols through Binding in External Memory [2.3562267625320352]
  本稿では,外部メモリを付加したリカレントネットワークであるEmergent Symbol Binding Network (ESBN)を紹介する。 このバインディングメカニズムにより、シンボル処理機械を明示的に組み込むことなく、学習プロセスを通じてシンボルのような表現が現れます。 一連のタスクを通じて、このアーキテクチャは学習したルールのほぼ完全な一般化を新しい実体に示すことを示しています。
  論文  参考訳（メタデータ） (2020-12-29T04:28:32Z)
• Lightweight Single-Image Super-Resolution Network with Attentive Auxiliary Feature Learning [73.75457731689858]
  本稿では,SISR の注意補助機能 (A$2$F) に基づく計算効率が高く正確なネットワークを構築した。 大規模データセットを用いた実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-11-13T06:01:46Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。