論文の概要: Model-free reinforcement learning with noisy actions for automated experimental control in optics

• arxiv url: http://arxiv.org/abs/2405.15421v2
• Date: Thu, 13 Feb 2025 10:26:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:44:17.124834
• Title: Model-free reinforcement learning with noisy actions for automated experimental control in optics
• Title（参考訳）: 雑音を考慮したモデルレス強化学習による光学系における自動実験制御
• Authors: Lea Richtmann, Viktoria-S. Schmiesing, Dennis Wilken, Jan Heine, Aaron Tranter, Avishek Anand, Tobias J. Osborne, Michèle Heurs,
• Abstract要約: 我々は、光ファイバーにレーザー光を結合させることで、強化学習が課題を克服できることを示した。 SAC(Soft Actor-Critic)やTQC(Trncated Quantile Critics)のサンプル効率アルゴリズムを利用することで、エージェントは人間の専門家に匹敵する90%の効率で対応できることを学習する。
• 参考スコア（独自算出の注目度）: 2.3003734964536524
• License:
• Abstract: Setting up and controlling optical systems is often a challenging and tedious task. The high number of degrees of freedom to control mirrors, lenses, or phases of light makes automatic control challenging, especially when the complexity of the system cannot be adequately modeled due to noise or non-linearities. Here, we show that reinforcement learning (RL) can overcome these challenges when coupling laser light into an optical fiber, using a model-free RL approach that trains directly on the experiment without pre-training. By utilizing the sample-efficient algorithms Soft Actor-Critic (SAC) or Truncated Quantile Critics (TQC), our agent learns to couple with 90% efficiency, comparable to the human expert. We demonstrate that direct training on an experiment can replace extensive system modeling. Our result exemplifies RL's potential to tackle problems in optics, paving the way for more complex applications where full noise modeling is not feasible.
• Abstract（参考訳）: 光システムのセットアップと制御は、しばしば困難で面倒な作業である。 光のミラー、レンズ、位相を制御する自由度は、特にノイズや非線形性のためにシステムの複雑さを適切にモデル化できない場合、自動制御が困難になる。 そこで本研究では,レーザー光を光ファイバーに結合する際の課題を,事前学習なしで直接実験を行うモデルフリーなRLアプローチを用いて克服できることを,強化学習(RL)により示す。 SAC(Soft Actor-Critic)やTQC(Trncated Quantile Critics)のサンプル効率アルゴリズムを利用することで、エージェントは人間の専門家に匹敵する90%の効率で対応できることを学習する。 実験における直接訓練がシステムモデリングに取って代わることを示す。 我々の結果は、光学における問題に取り組むRLの可能性を実証し、完全なノイズモデリングが実現不可能なより複雑なアプリケーションへの道を開いた。

関連論文リスト

• Forward-Forward Training of an Optical Neural Network [6.311461340782698]
  光ファイバにおける多重モード非線形波動伝搬を利用した実験を行い, 光学系を用いたFFAアプローチの実現可能性を示す。 その結果、FFAで訓練された多層NNアーキテクチャに光変換を組み込むことにより、性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-05-30T16:15:57Z)
• Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning [61.3506230781327]
  ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。 ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。 提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
  論文  参考訳（メタデータ） (2023-03-03T21:55:04Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
  我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。 カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。 我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
  論文  参考訳（メタデータ） (2022-04-21T14:40:32Z)
• Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
  微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。 本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。 現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
  論文  参考訳（メタデータ） (2022-04-14T17:46:26Z)
• On the Effectiveness of Iterative Learning Control [28.76900887141432]
  反復学習制御 (ILC) は, モデル誤差の存在下で, 高い性能追跡を行うための強力な手法である。 大規模なモデリングエラーがあっても、ICCの有効性を説明する理論的な研究はほとんどない。 ILC の最適 LQR コントローラに対して測定された準最適差は,高次項による MM よりも小さいことを示す。
  論文  参考訳（メタデータ） (2021-11-17T22:35:39Z)
• Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation [91.05073136215886]
  「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。 Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
  論文  参考訳（メタデータ） (2021-04-04T17:56:34Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。