Fugu-MT 論文翻訳(概要): Enhancing Human-Likeness in Reinforcement Learning Agents via Hierarchical Macro Action Quantization

論文の概要: Enhancing Human-Likeness in Reinforcement Learning Agents via Hierarchical Macro Action Quantization

arxiv url: http://arxiv.org/abs/2605.30928v1
Date: Fri, 29 May 2026 07:18:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 20:56:50.443087
Title: Enhancing Human-Likeness in Reinforcement Learning Agents via Hierarchical Macro Action Quantization
Title（参考訳）: 階層的マクロアクション量子化による強化学習エージェントの人間らしくの強化
Abstract要約: 本研究では,人間の行動と密接に一致した行動系列を予測できる,人間のような新しい強化学習フレームワークを提案する。階層的マクロアクション量子化手法(HiMAQ)を用いて、人間のデモをマクロアクションにエンコードする。
参考スコア（独自算出の注目度）: 5.162898227762136
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Human-like agents are a long-standing goal of artificial intelligence. Despite strong performance, most reinforcement learning (RL) agents remain reward-driven and often exhibit behaviors that differ from humans, limiting interpretability and reliability. In this work, we introduce a novel human-like RL framework that predicts action sequences closely aligned with human behaviors while maximizing rewards. Specifically, we encode human demonstrations into macro actions using a hierarchical macro action quantization approach (termed HiMAQ) consisting of two successive levels of vector quantization. The lower quantization level maps input actions to fine-grained subaction clusters, while the higher quantization level aggregates these subaction clusters into action clusters. Extensive evaluations on the D4RL benchmarks show that our hierarchical approach outperforms the non-hierarchical baseline (MAQ), achieving better human-likeness scores while maintaining comparable or better success rates than previous RL agents. The improvements generalize across integrations with various RL algorithms, namely IQL, SAC, and RLPD.
Abstract（参考訳）: 人間のようなエージェントは、人工知能の長年の目標である。強い性能にもかかわらず、ほとんどの強化学習(RL)エージェントは報酬駆動であり、人間とは異なる行動を示し、解釈可能性と信頼性を制限している。本研究では,報酬を最大化しつつ,人間の行動と密接に一致した行動列を予測できる新しい人間型RLフレームワークを提案する。具体的には、2つの連続するベクトル量子化レベルからなる階層的なマクロアクション量子化アプローチ(HiMAQ)を用いて、人間のデモをマクロアクションにエンコードする。低量子化レベルは入力アクションを微細なサブアクションクラスタにマッピングし、高量子化レベルはこれらのサブアクションクラスタをアクションクラスタに集約する。 D4RLベンチマークの大規模な評価は、我々の階層的アプローチが非階層的ベースライン(MAQ)よりも優れており、従来のRLエージェントよりも同等またはより良い成功率を維持しながら、人間に近いスコアを達成していることを示している。この改善により、さまざまなRLアルゴリズム、すなわちIQL、SAC、RLPDとの統合が一般化される。

関連論文リスト

A Hierarchical Spatiotemporal Action Tokenizer for In-Context Imitation Learning in Robotics [6.4420182172671865]
非コンテキスト模倣学習のための新しい階層的アクショントークンー、すなわちHiST-ATを提案する。この階層的時間的アプローチは、入力アクションと関連するタイムスタンプのキューを同時に回復しながら、マルチレベルクラスタリングを行う。
論文参考訳（メタデータ） (2026-04-16T16:47:08Z)
HiMAC: Hierarchical Macro-Micro Learning for Long-Horizon LLM Agents [19.63866851076813]
HiMACは階層的なエージェントRLフレームワークで、長期の意思決定をマクロレベルの計画とマイクロレベルの実行に分解する。その結果,モデルスケールを単独で増やすのではなく,構造的階層を導入することが,堅牢な長期エージェントインテリジェンスを実現する上で重要な要素であることが示唆された。
論文参考訳（メタデータ） (2026-03-01T08:09:03Z)
Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
論文参考訳（メタデータ） (2025-12-03T13:05:32Z)
Learning Human-Like RL Agents Through Trajectory Optimization With Action Quantization [20.732922711530527]
マクロアクション量子化(Macro Action Quantization,MAQ)は、人間のデモをマクロアクションに蒸留する人間のような強化学習フレームワークである。 D4RL Adroitベンチマークの実験では、MAQは人間の類似性を大幅に改善し、軌道類似性スコアを増大させ、RLエージェントの中で最も高い人間類似性ランキングを達成している。また,MAQは市販のRLアルゴリズムに容易に組み込むことができ,人間的なRLエージェントを学習する上で有望な方向を導出できることを示した。
論文参考訳（メタデータ） (2025-11-19T02:59:47Z)
Feature Identification for Hierarchical Contrastive Learning [7.655211354400059]
本稿では,2つの新しい階層型コントラスト学習法を提案する。提案手法は,階層レベルのクラス間関係と不均衡なクラス分布を明示的にモデル化する。提案手法は,線形評価における最先端性能を実現し,既存の階層的コントラスト学習法を精度で2ポイント向上させる。
論文参考訳（メタデータ） (2025-10-01T12:46:47Z)
Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文参考訳（メタデータ） (2025-09-23T16:15:42Z)
Emergent Hierarchical Reasoning in LLMs through Reinforcement Learning [56.496001894673235]
強化学習(RL)は,大規模言語モデル(LLM)の複雑な推論能力の向上に有効であることが証明された。解析の結果,アハモーメント,長さスケーリング,エントロピーのダイナミクスといったファズリング現象は異なる現象ではなく,創発的推論階層の目印であることがわかった。
論文参考訳（メタデータ） (2025-09-03T18:52:49Z)
Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文参考訳（メタデータ） (2025-07-26T07:53:11Z)
Coarse-to-fine Q-Network with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
本稿では,行動列上のQ値を出力する批判ネットワークを学習する,新しい値に基づく強化学習アルゴリズムを提案する。実験により、CQN-ASは、様々なスパース逆ヒューマノイド制御およびテーブルトップ操作タスクにおいて、いくつかのベースラインより優れていることが示された。
論文参考訳（メタデータ） (2024-11-19T01:23:52Z)
From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
論文参考訳（メタデータ） (2022-04-08T20:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。