論文の概要: Automatic Noise Filtering with Dynamic Sparse Training in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2302.06548v1
• Date: Mon, 13 Feb 2023 17:45:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 14:34:52.187183
• Title: Automatic Noise Filtering with Dynamic Sparse Training in Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習における動的スパーストレーニングによる自動ノイズフィルタリング
• Authors: Bram Grooten, Ghada Sokar, Shibhansh Dohare, Elena Mocanu, Matthew E. Taylor, Mykola Pechenizkiy, Decebal Constantin Mocanu
• Abstract要約: 明日のロボットは ノイズから 有用な情報を識別する必要がある 関係のないデータを含む 邪魔な入力をフィルタリングする 強化学習の文献では ほとんど注目されていない エージェントは、環境の状態に関するタスク関連情報を提供する機能を検出する必要がある。
• 参考スコア（独自算出の注目度）: 20.86737037880233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tomorrow's robots will need to distinguish useful information from noise when performing different tasks. A household robot for instance may continuously receive a plethora of information about the home, but needs to focus on just a small subset to successfully execute its current chore. Filtering distracting inputs that contain irrelevant data has received little attention in the reinforcement learning literature. To start resolving this, we formulate a problem setting in reinforcement learning called the $\textit{extremely noisy environment}$ (ENE), where up to $99\%$ of the input features are pure noise. Agents need to detect which features provide task-relevant information about the state of the environment. Consequently, we propose a new method termed $\textit{Automatic Noise Filtering}$ (ANF), which uses the principles of dynamic sparse training in synergy with various deep reinforcement learning algorithms. The sparse input layer learns to focus its connectivity on task-relevant features, such that ANF-SAC and ANF-TD3 outperform standard SAC and TD3 by a large margin, while using up to $95\%$ fewer weights. Furthermore, we devise a transfer learning setting for ENEs, by permuting all features of the environment after 1M timesteps to simulate the fact that other information sources can become relevant as the world evolves. Again, ANF surpasses the baselines in final performance and sample complexity. Our code is available at https://github.com/bramgrooten/automatic-noise-filtering
• Abstract（参考訳）: 明日のロボットは、ノイズから有用な情報を区別する必要がある。 例えば家庭用ロボットは、家に関する情報を連続的に受け取ることができるが、現在の雑用を成功させるためには、小さなサブセットだけに集中する必要がある。 強化学習文献では,無関係なデータを含む邪魔な入力がほとんど注目されていない。 これを解決するために、$\textit{extremely noisy environment}$ (ENE)と呼ばれる強化学習における問題設定を定式化します。 エージェントは、環境の状態に関するタスク関連情報を提供する機能を検出する必要がある。 そこで本研究では,様々な深層強化学習アルゴリズムと相乗的に動的スパーストレーニングの原理を用いる,$\textit{automatic noise filtering}$ (anf) という新しい手法を提案する。 スパース入力層は、ANF-SACとANF-TD3が標準SACとTD3を最大9,5\%の重量で上回るようなタスク関連機能に接続性を集中することを学ぶ。 さらに、環境の全ての特徴を1mの時間ステップで置換し、世界が発展するにつれて他の情報ソースが関連づけられるという事実をシミュレートすることにより、enesの転送学習設定を考案する。 ANFは、最終的なパフォーマンスとサンプルの複雑さにおいて、ベースラインを超える。 私たちのコードはhttps://github.com/bramgrooten/automatic-noise-filteringで利用可能です。

関連論文リスト

• Pretraining with Random Noise for Fast and Robust Learning without Weight Transport [6.916179672407521]
  ランダムノイズを伴う事前学習ニューラルネットワークは、学習効率を向上し、重量輸送を伴わない一般化能力も向上することを示す。 ランダムノイズとデータの両方による連続的なトレーニングは、データのみによるトレーニングよりもシナプス的なフィードバックに近い重みをもたらす。 この事前正規化により、ネットワークは低ランクの単純な解を学習でき、その後の訓練における一般化損失を減らすことができる。
  論文  参考訳（メタデータ） (2024-05-27T00:12:51Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Deep Active Audio Feature Learning in Resource-Constrained Environments [3.789219860006095]
  ラベル付きデータの不足により、バイオ音響アプリケーションにおけるDeep Neural Network(DNN)モデルのトレーニングが困難になる。 アクティブラーニング(AL)は、ラベル付けの労力をほとんど必要とせず、この学習を支援するアプローチである。 本稿では,ALループに特徴抽出を組み込んだALフレームワークについて述べる。
  論文  参考訳（メタデータ） (2023-08-25T06:45:02Z)
• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Robust Few-shot Learning Without Using any Adversarial Samples [19.34427461937382]
  高度なメタラーニング技術を用いて、数発の問題をロバストネスの目的と組み合わせる試みがいくつかなされている。 逆のサンプルを一切必要としない単純で効果的な代替案を提案する。 ヒトの認知的意思決定プロセスにインスパイアされ、ベースクラスデータとそれに対応する低周波サンプルの高レベル特徴マッチングを強制する。
  論文  参考訳（メタデータ） (2022-11-03T05:58:26Z)
• Offline Reinforcement Learning at Multiple Frequencies [62.08749079914275]
  本研究では、オフライン強化学習アルゴリズムが、トレーニング中に複数の周波数を混合したデータに対応できるかどうかについて検討する。 学習を安定させるために$Q$-valueの更新率で一貫性を強制する、単純だが効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-07-26T17:54:49Z)
• Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference [74.80730361332711]
  コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。 単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2022-04-15T02:55:58Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)
• Compression-aware Continual Learning using Singular Value Decomposition [2.4283778735260686]
  本稿では,ニューラルネットワークを動的に成長させる圧縮型連続タスク学習手法を提案する。 近年のモデル圧縮技術にインスパイアされた我々は、圧縮認識トレーニングを採用し、低ランク重量近似を行う。 本手法は,コストのかかる微調整を必要とせず,最小性能の圧縮表現を実現する。
  論文  参考訳（メタデータ） (2020-09-03T23:29:50Z)
• Improving Learning Efficiency for Wireless Resource Allocation with Symmetric Prior [28.275250620630466]
  本稿では、まず、ドメイン知識を利用するための2つのアプローチのクラスを、数学的モデルの導入とディープラーニングへの事前知識の2つにまとめる。 このような総合的な事前手法が学習効率の向上にどのように活用されているかを説明するために,我々はランク付けを頼りにしている。 システム性能を達成するために必要なトレーニングサンプルは,サブキャリア数やコンテンツ数によって減少することがわかった。
  論文  参考訳（メタデータ） (2020-05-18T07:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。