論文の概要: Model-free reinforcement learning with noisy actions for automated experimental control in optics

• arxiv url: http://arxiv.org/abs/2405.15421v1
• Date: Fri, 24 May 2024 10:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 14:52:03.861367
• Title: Model-free reinforcement learning with noisy actions for automated experimental control in optics
• Title（参考訳）: 雑音を考慮したモデルレス強化学習による光学系における自動実験制御
• Authors: Lea Richtmann, Viktoria-S. Schmiesing, Dennis Wilken, Jan Heine, Aaron Tranter, Avishek Anand, Tobias J. Osborne, Michèle Heurs,
• Abstract要約: 強化学習(RL)を用いた光ファイバーにレーザー光を結合するための自動実験アライメントについて検討する。 時間を節約するために、私たちは仮想テストベッドを使用して、部分的な可観測性を扱う環境をチューニングします。 実験の完全なトレーニングにより、エージェントは、現在あるノイズを処理するために直接学習する。
• 参考スコア（独自算出の注目度）: 2.3003734964536524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Experimental control involves a lot of manual effort with non-trivial decisions for precise adjustments. Here, we study the automatic experimental alignment for coupling laser light into an optical fiber using reinforcement learning (RL). We face several real-world challenges, such as time-consuming training, partial observability, and noisy actions due to imprecision in the mirror steering motors. We show that we can overcome these challenges: To save time, we use a virtual testbed to tune our environment for dealing with partial observability and use relatively sample-efficient model-free RL algorithms like Soft Actor-Critic (SAC) or Truncated Quantile Critics (TQC). Furthermore, by fully training on the experiment, the agent learns directly to handle the noise present. In our extensive experimentation, we show that we are able to achieve 90% coupling, showcasing the effectiveness of our proposed approaches. We reach this efficiency, which is comparable to that of a human expert, without additional feedback loops despite the motors' inaccuracies. Our result is an example of the readiness of RL for real-world tasks. We consider RL a promising tool for reducing the workload in labs.
• Abstract（参考訳）: 実験的な制御は、正確な調整のための非自明な決定を伴う多くの手作業を伴う。 本稿では,RLを用いた光ファイバーにレーザ光を結合するための自動実験アライメントについて検討する。 我々は,ミラーステアリングモータの不正確さによる時間的トレーニング,部分的可観測性,ノイズなどの現実的な課題に直面している。 時間を節約するために、私たちは仮想テストベッドを使用して、部分的な可観測性を扱うように環境をチューニングし、Soft Actor-Critic (SAC)やTruncated Quantile Critics (TQC)のような比較的サンプル効率のよいモデルレスRLアルゴリズムを使用します。 さらに、実験の完全トレーニングにより、エージェントは、現在あるノイズを処理するために直接学習する。 大規模な実験では、90%のカップリングを達成でき、提案手法の有効性を示す。 我々は、モーターの不正確さにもかかわらず、フィードバックループを追加せずに、人間の専門家に匹敵するこの効率に達する。 この結果は実世界のタスクに対するRLの即応性の一例である。 我々はRLを実験室の作業量を削減できる有望なツールだと考えている。

関連論文リスト

• Forward-Forward Training of an Optical Neural Network [6.311461340782698]
  光ファイバにおける多重モード非線形波動伝搬を利用した実験を行い, 光学系を用いたFFAアプローチの実現可能性を示す。 その結果、FFAで訓練された多層NNアーキテクチャに光変換を組み込むことにより、性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-05-30T16:15:57Z)
• Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning [61.3506230781327]
  ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。 ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。 提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
  論文  参考訳（メタデータ） (2023-03-03T21:55:04Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
  我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。 カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。 我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
  論文  参考訳（メタデータ） (2022-04-21T14:40:32Z)
• Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
  微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。 本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。 現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
  論文  参考訳（メタデータ） (2022-04-14T17:46:26Z)
• On the Effectiveness of Iterative Learning Control [28.76900887141432]
  反復学習制御 (ILC) は, モデル誤差の存在下で, 高い性能追跡を行うための強力な手法である。 大規模なモデリングエラーがあっても、ICCの有効性を説明する理論的な研究はほとんどない。 ILC の最適 LQR コントローラに対して測定された準最適差は,高次項による MM よりも小さいことを示す。
  論文  参考訳（メタデータ） (2021-11-17T22:35:39Z)
• Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation [91.05073136215886]
  「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。 Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
  論文  参考訳（メタデータ） (2021-04-04T17:56:34Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。