論文の概要: Integrating AIRL-Based Reward Estimation into a Control Method Using Fuzzy Inference and Policy Gradient

• arxiv url: http://arxiv.org/abs/2610.14723v1
• Date: Sat, 10 Oct 2026 08:45:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.095433
• Title: Integrating AIRL-Based Reward Estimation into a Control Method Using Fuzzy Inference and Policy Gradient
• Title（参考訳）: ファジィ推論とポリシー勾配を用いた制御手法へのAIRLに基づく逆推定の統合
• Abstract要約: 本稿では,GAN(Generative Adversarial Nets)フレームワークに基づく報酬推定機構をベースモデルに統合するファジィ制御手法を提案する。 車両の速度制御タスクのシミュレーションにおいて,提案手法は,安定かつ効率的な学習を通じて,高一般化性能のポリシーを取得した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A method integrating policy gradient with fuzzy inference has been proposed. This method, hereafter referred to as the base model, has high flexibility with respect to the configuration of fuzzy inference rules and fuzzy representation. It can also automatically adjust the rule weights and the membership functions in the antecedent and consequent parts using the same framework for learning. In methods that integrate reinforcement learning with fuzzy inference, however, the reward function must be designed in advance. It is therefore useful to add learning-based reward estimation to the base model. This paper proposes a fuzzy control method that integrates a reward estimation mechanism based on the adversarial inverse reinforcement learning (AIRL) framework into the base model. The generative adversarial nets (GAN) framework adopted in AIRL, however, tends to suffer from unstable learning. To address this, the proposed method treats the policy of the base model as the generator and also uses the set of membership functions in the policy as the cost function of the discriminator. This configuration allows the discriminator update for reward estimation and the generator update for policy estimation to be performed simultaneously on the parameters shared by both, without estimating a value function. In simulations of an illustrative vehicle speed control task, the proposed method acquired policies with high generalization performance through stable and efficient learning.
• Abstract（参考訳）: ファジィ推論とポリシー勾配を統合する手法が提案されている。 この方法は後述のベースモデルと呼ばれ、ファジィ推論規則やファジィ表現の構成に関して高い柔軟性を有する。 また、学習のための同じフレームワークを使用して、前部および後部におけるルールウェイトとメンバーシップ関数を自動的に調整することもできる。 しかし, ファジィ推論と強化学習を統合した手法では, 報奨関数を事前に設計する必要がある。 したがって、ベースモデルに学習に基づく報酬推定を追加することは有用である。 本稿では,逆逆強化学習(AIRL)フレームワークに基づく報酬推定機構をベースモデルに組み込むファジィ制御手法を提案する。 しかしながら、AIRLで採用されているGAN(generative adversarial nets)フレームワークは不安定な学習に悩まされる傾向にある。 提案手法では,基本モデルのポリシをジェネレータとして扱うとともに,ポリシ内のメンバシップ関数のセットを判別器のコスト関数として利用する。 この構成により、報酬推定のための判別器更新とポリシー推定のためのジェネレータ更新を、値関数を推定することなく、双方が共有するパラメータ上で同時に行うことができる。 車両の速度制御タスクのシミュレーションにおいて,提案手法は,安定かつ効率的な学習を通じて,高一般化性能のポリシーを取得した。

関連論文リスト

• $V_0$: A Generalist Value Model for Any Policy at State Zero [80.7505802128501]
  ポリシーメソッドは、アクションの相対的な利点を測定するためにベースラインに依存します。 このベースラインは一般的に、政策モデルそのものと同じくらい大きな価値モデル(Critic)によって推定される。 未知のプロンプト上での任意のモデルの期待性能を推定できるジェネリスト値モデルを提案する。
  論文  参考訳（メタデータ） (2026-02-03T14:35:23Z)
• Efficient Inference for Inverse Reinforcement Learning and Dynamic Discrete Choice Models [35.877107409163784]
  逆強化学習(IRL)と動的離散選択(DDC)モデルは、観察された振る舞いを合理化する報酬関数を回復することにより、シーケンシャルな意思決定を説明する。 本研究では,広義の報酬依存関数に対して統計的に効率的な推論を行う半パラメトリックな逆強化学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-30T18:41:05Z)
• Adaptive Policy Learning to Additional Tasks [4.239910610884462]
  本稿では,事前訓練されたポリシーを調整し,本来のタスクを変更することなく追加タスクに適応するためのポリシー学習手法を開発する。 本稿では,適応政策グラディエント (APG) という手法を提案する。これはベルマンの最適性の原理と,収束率を改善するための政策勾配アプローチを組み合わせたものである。
  論文  参考訳（メタデータ） (2023-05-24T14:31:11Z)
• Optimal Control of Nonlinear Systems with Unknown Dynamics [4.551160285910024]
  本稿では,閉ループ最適制御器の探索のためのデータ駆動方式を提案する。 任意の初期状態が与えられた未知の力学を持つ系に対する特定の無限水平コスト関数を最小化する。
  論文  参考訳（メタデータ） (2023-05-24T14:27:22Z)
• Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
  我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。 本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-19T05:55:02Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Strictly Batch Imitation Learning by Energy-based Distribution Matching [104.33286163090179]
  すなわち、強化信号へのアクセスがなく、遷移力学の知識がなく、環境とのさらなる相互作用もない。 1つの解決策は、既存のアルゴリズムをオフライン環境で動作させるために、見習いの学習に適合させることである。 しかし、このようなアプローチは、政治外の評価やオフラインモデルの推定に大きく依存しており、間接的で非効率である可能性がある。 優れたソリューションは、ポリシーを明示的にパラメータ化し、ロールアウトダイナミクスから暗黙的に学習し、完全にオフラインで運用できるべきだ、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T03:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。