論文の概要: Deciding What to Learn: A Rate-Distortion Approach

• arxiv url: http://arxiv.org/abs/2101.06197v1
• Date: Fri, 15 Jan 2021 16:22:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 11:10:34.233431
• Title: Deciding What to Learn: A Rate-Distortion Approach
• Title（参考訳）: 何を学ぶか決定する:レートゆがみアプローチ
• Authors: Dilip Arumugam and Benjamin Van Roy
• Abstract要約: 複雑な環境では、最適ポリシーの合成が不可能になる可能性がある。 我々は,デザイナーの好みをエージェントの定型学習対象に翻訳するプロセスを自動化する。 最適ポリシーの同定におけるトンプソンサンプリングの改善を示す。
• 参考スコア（独自算出の注目度）: 21.945359614094503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agents that learn to select optimal actions represent a prominent focus of the sequential decision-making literature. In the face of a complex environment or constraints on time and resources, however, aiming to synthesize such an optimal policy can become infeasible. These scenarios give rise to an important trade-off between the information an agent must acquire to learn and the sub-optimality of the resulting policy. While an agent designer has a preference for how this trade-off is resolved, existing approaches further require that the designer translate these preferences into a fixed learning target for the agent. In this work, leveraging rate-distortion theory, we automate this process such that the designer need only express their preferences via a single hyperparameter and the agent is endowed with the ability to compute its own learning targets that best achieve the desired trade-off. We establish a general bound on expected discounted regret for an agent that decides what to learn in this manner along with computational experiments that illustrate the expressiveness of designer preferences and even show improvements over Thompson sampling in identifying an optimal policy.
• Abstract（参考訳）: 最適な行動を選択することを学ぶエージェントは、シーケンシャルな意思決定文献の顕著な焦点である。 しかし、複雑な環境や時間や資源の制約に直面した場合、このような最適な政策を合成しようとすることは不可能となる。 これらのシナリオは、エージェントが学習するために取得しなければならない情報と、結果として得られるポリシーの準最適性の間に重要なトレードオフをもたらす。 エージェントデザイナは、このトレードオフを解決する方法を好むが、既存のアプローチでは、デザイナがこれらの好みをエージェントの固定的な学習ターゲットに変換する必要がある。 本研究は、レート歪み理論を利用して、設計者が1つのハイパーパラメータを通してのみ好みを表現できるように自動化し、エージェントに最適なトレードオフを達成するための学習目標を計算する能力を与える。 この方法で何を学ぶかを決めるエージェントに対して、デザイナーの好みの表現性を示し、最適なポリシーを特定する際にトンプソンサンプリングよりも改善を示す計算実験を行うことで、期待された割引された後悔の限界を確立する。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Satisficing Exploration for Deep Reinforcement Learning [26.73584163318647]
  現実世界の広大さと規模にアプローチする複雑な環境では、最適な性能を達成することは、実際には完全に難易度の高い試みであるかもしれない。 最近の研究は、情報理論から設計エージェントへのツールを活用し、十分な満足や満足のいくソリューションを優先して最適なソリューションを意図的に実現している。 モデルベース計画の必要性を回避し、満足度の高いポリシーを学習できるように、最適な値関数に対する不確実性を直接表現するエージェントを拡張します。
  論文  参考訳（メタデータ） (2024-07-16T21:28:03Z)
• Data-Driven Goal Recognition Design for General Behavioral Agents [14.750023724230774]
  汎用行動モデルを持つエージェントを考慮に入れた,目標認識設計のためのデータ駆動型アプローチを提案する。 本稿では,様々な制約を満たす勾配に基づく最適化フレームワークを提案し,意思決定環境を最適化する。
  論文  参考訳（メタデータ） (2024-04-03T20:38:22Z)
• Pure Exploration under Mediators' Feedback [63.56002444692792]
  マルチアームバンディット(Multi-armed bandits)は、各インタラクションステップにおいて、学習者が腕を選択し、報酬を観察する、シーケンシャルな意思決定フレームワークである。 本稿では,学習者が仲介者の集合にアクセスできるシナリオについて考察する。 本稿では,学習者には仲介者の方針が知られていると仮定して,最適な腕を発見するための逐次的意思決定戦略を提案する。
  論文  参考訳（メタデータ） (2023-08-29T18:18:21Z)
• Prompt-Tuning Decision Transformer with Preference Ranking [83.76329715043205]
  本稿では,環境情報取得におけるRLエージェントの誘導手法としてトラジェクトリセグメントを用いたPrompt-Tuning DTアルゴリズムを提案する。 提案手法では,ガウス分布をランダムにサンプリングしてプロンプト軌道の要素を微調整し,選好ランク関数を用いて最適化方向を求める。 我々の研究は、RLにおける迅速な調整手法の進歩に寄与し、特定の選好タスクに対して大規模RLエージェントを最適化するための有望な方向性を提供する。
  論文  参考訳（メタデータ） (2023-05-16T17:49:04Z)
• Dynamic Memory for Interpretable Sequential Optimisation [0.0]
  大規模展開に適した非定常性を扱うためのソリューションを提案する。 動的メモリの新たな形態を取り入れた適応型ベイズ学習エージェントを開発した。 自動アズ・ア・サービス(Automatic-as-a-service)の大規模展開のアーキテクチャについて説明する。
  論文  参考訳（メタデータ） (2022-06-28T12:29:13Z)
• Deciding What to Model: Value-Equivalent Sampling for Reinforcement Learning [21.931580762349096]
  本稿では,エージェントが真のモデルの代わりにターゲットにできるような,ほぼ等価でロッキーな環境圧縮を計算するアルゴリズムを提案する。 有限水平, エピソディックな逐次決定問題を解くアルゴリズムに対して, 情報理論的, ベイズ的後悔を証明した。
  論文  参考訳（メタデータ） (2022-06-04T23:36:38Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Sequential Information Design: Markov Persuasion Process and Its Efficient Reinforcement Learning [156.5667417159582]
  本稿では,逐次情報設計の新たなモデル,すなわちマルコフ説得過程(MPP)を提案する。 MPPのプランニングは、ミオピックレシーバーに同時に説得されるシグナルポリシーを見つけ、送信者の最適な長期累積ユーティリティを誘導する、というユニークな課題に直面している。 我々は,楽観主義と悲観主義の両原理の新たな組み合わせを特徴とする,実証可能な効率のよい非回帰学習アルゴリズム,Optimism-Pessimism Principle for Persuasion Process (OP4) を設計する。
  論文  参考訳（メタデータ） (2022-02-22T05:41:43Z)
• The Value of Information When Deciding What to Learn [21.945359614094503]
  本研究は情報指向サンプリングの設計原理に基づく(Russo & Van Roy, 2014)。 我々は,学習内容を決定する際の情報の価値を確認する実証的な結果に目を向ける前に,学習目標に関する文献からの新たな知見を提示する。
  論文  参考訳（メタデータ） (2021-10-26T19:23:12Z)
• Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions [80.49176924360499]
  我々は、シーケンシャルな意思決定問題を解決するために、単純で専門的で自己関心のあるエージェントの社会を指示する枠組みを確立する。 我々は分散強化学習アルゴリズムのクラスを導出する。 我々は、より効率的な移動学習のための社会固有のモジュラー構造の潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2020-07-05T16:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。