論文の概要: Measuring and Mitigating Interference in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2307.04887v1
• Date: Mon, 10 Jul 2023 20:20:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 17:00:17.802795
• Title: Measuring and Mitigating Interference in Reinforcement Learning
• Title（参考訳）: 強化学習における干渉の測定と緩和
• Authors: Vincent Liu, Han Wang, Ruo Yu Tao, Khurram Javed, Adam White, Martha White
• Abstract要約: 破滅的な干渉は、多くのネットワークベースの学習システムで一般的である。 価値に基づく強化学習のための干渉の定義と新しい尺度を提供する。
• 参考スコア（独自算出の注目度）: 30.38857177546063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic interference is common in many network-based learning systems, and many proposals exist for mitigating it. Before overcoming interference we must understand it better. In this work, we provide a definition and novel measure of interference for value-based reinforcement learning methods such as Fitted Q-Iteration and DQN. We systematically evaluate our measure of interference, showing that it correlates with instability in control performance, across a variety of network architectures. Our new interference measure allows us to ask novel scientific questions about commonly used deep learning architectures and study learning algorithms which mitigate interference. Lastly, we outline a class of algorithms which we call online-aware that are designed to mitigate interference, and show they do reduce interference according to our measure and that they improve stability and performance in several classic control environments.
• Abstract（参考訳）: 多くのネットワークベースの学習システムでは破滅的干渉が一般的であり、それを緩和するための提案が多数存在する。 干渉を克服する前には、もっと理解しなければならない。 本研究は,Fitted Q-Iteration や DQN などの値に基づく強化学習手法に対する干渉の定義と新しい尺度を提供する。 干渉の計測を系統的に評価し,制御性能の不安定性と相関し,ネットワークアーキテクチャの多種多様さを示す。 新たな干渉測定によって、一般的に使用されるディープラーニングアーキテクチャに関する新たな科学的質問や、干渉を緩和する学習アルゴリズムの研究が可能になります。 最後に、干渉を緩和するオンラインアウェアと呼ばれるアルゴリズムのクラスを概説し、我々の測定値に従って干渉を低減し、いくつかの古典的な制御環境での安定性と性能を向上させることを示す。

関連論文リスト

• Physically Parameterized Differentiable MUSIC for DoA Estimation with Uncalibrated Arrays [18.68871336059738]
  到着方向推定(DoA)は、レーダー、ソナー、オーディオ、無線通信システムにおいて一般的な検知問題である。 本研究は,モデルに基づくアプローチに従って,共同でDoA推定とハードウェア障害学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:14:26Z)
• A Two-Part Machine Learning Approach to Characterizing Network Interference in A/B Testing [4.000213034401085]
  本稿では,「因果ネットワークモチーフ」を導入し,透過的な機械学習モデルを用いてネットワーク干渉パターンを特徴付ける。 私たちのアプローチは、A/Bテスト実践者のネットワーク干渉に対処するための、包括的で自動化されたソリューションを提供します。
  論文  参考訳（メタデータ） (2023-08-18T19:37:55Z)
• Edge Intelligence Over the Air: Two Faces of Interference in Federated Learning [95.31679010587473]
  フェデレートされたエッジ学習は、次世代無線ネットワークにおけるインテリジェンスの実現の基盤として考えられている。 本稿では,無線によるエッジ学習システムにおける干渉の肯定的および否定的影響について概説する。
  論文  参考訳（メタデータ） (2023-06-17T09:04:48Z)
• Deep Reinforcement Learning for Interference Management in UAV-based 3D Networks: Potentials and Challenges [137.47736805685457]
  チャネル情報を知らなくても干渉を効果的に軽減できることを示す。 干渉を利用することにより、提案された解決策は民間UAVの継続的な成長を可能にする。
  論文  参考訳（メタデータ） (2023-05-11T18:06:46Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• Interference Suppression Using Deep Learning: Current Approaches and Open Challenges [2.179313476241343]
  本稿では,深層学習を用いた干渉抑制技術について概説する。 干渉抑制における多種多様な深層学習手法の比較とガイドラインを提供する。 さらに,干渉抑制におけるディープラーニングの導入を成功させる上での課題と今後の研究方向性を強調した。
  論文  参考訳（メタデータ） (2021-12-16T16:07:42Z)
• Solving Inverse Problems With Deep Neural Networks -- Robustness Included? [3.867363075280544]
  近年の研究では、複数の画像再構成タスクにおけるディープニューラルネットワークの不安定性が指摘されている。 分類における敵対的攻撃と類似して、入力領域のわずかな歪みが深刻な成果物を生じさせる可能性が示された。 本稿では、未決定の逆問題を解決するためのディープラーニングベースのアルゴリズムの堅牢性について広範な研究を行うことにより、この懸念に新たな光を当てる。
  論文  参考訳（メタデータ） (2020-11-09T09:33:07Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Towards a practical measure of interference for reinforcement learning [37.1734757628306]
  破滅的な干渉は、多くのネットワークベースの学習システムで一般的である。 強化学習における制御のための干渉の定義を提供する。 我々の新しい干渉対策は、一般的に使われているディープラーニングアーキテクチャについて、新しい科学的疑問を提起することを可能にする。
  論文  参考訳（メタデータ） (2020-07-07T22:02:00Z)
• Interference and Generalization in Temporal Difference Learning [86.31598155056035]
  時間差学習における一般化と干渉の関係について検討する。 教師付き学習ではTDが容易に低干渉,低一般化パラメータにつながり,その効果は逆のように見える。
  論文  参考訳（メタデータ） (2020-03-13T15:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。