論文の概要: ToSCA: Leveraging Hierarchical Reinforcement Learning on Temporal and Strategic Abstractions of Conversational Agents

• arxiv url: http://arxiv.org/abs/2608.21969v1
• Date: Sat, 22 Aug 2026 14:15:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.545966
• Title: ToSCA: Leveraging Hierarchical Reinforcement Learning on Temporal and Strategic Abstractions of Conversational Agents
• Title（参考訳）: ToSCA:会話エージェントの時間的・戦略的抽象化における階層的強化学習の活用
• Abstract要約: 対話エージェントのための2段階階層型強化学習フレームワークを提案する。 トークンレベルの応答デコーディングは、発話レベルのアクションに条件付けされる。 本手法は,戦略決定および応答品質において,多目的ベースラインよりも優れる。
• 参考スコア（独自算出の注目度）: 9.356868740164975
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Humans have multiple levels of temporal abstractions on daily interaction and thinking, such as concept perception and strategic planning. Inspired by this nature, we propose a two-level hierarchical reinforcement learning (RL) framework for conversational agents, bridging the gap between previous token-level or utterance-level RL methods. Developed on a two-level MDP, the token-level response decoding is conditioned on the utterance-level action, the explicit textual strategies. Based on theoretical derivation and efficiency consideration, we use DQN to solve the high-level critic and PPO to solve the low-level actor-critic. To further alleviate the reward sparsity and facilitate the convergence, we also design the dual-granularity reward mechanism, in which the utterance-level satisfaction score is integrated with token-level intrinsic motivation and K-L penalty. Experiments on both daily and emotional support conversations show that our method outperforms versatile baselines in strategy determination and response quality. Our implementation is available at https://github.com/AaronJi/ToSCA.
• Abstract（参考訳）: 人間は、概念認識や戦略的計画など、日々の相互作用と思考に関して、時間的抽象化のレベルが多様である。 この性質に着想を得て,従来のトークンレベルのRL手法と発話レベルのRL手法のギャップを埋める,対話型エージェントのための2段階階層強化学習(RL)フレームワークを提案する。 2段階のMDP上で開発されたトークンレベルの応答復号は、発話レベルアクション、明示的なテキスト戦略に条件付けされる。 理論的導出と効率の考慮に基づき、DQNを用いて高レベルの批評家とPPOを解き、低レベルのアクター批判を解く。 さらに、報酬の分散を緩和し、収束を促進するために、発話レベルの満足度スコアをトークンレベルの固有モチベーションとK-Lのペナルティと統合する二重粒度報酬機構を設計する。 日常的・感情的な支援会話における実験結果から,本手法は戦略決定や応答品質において,多彩なベースラインよりも優れていたことが示唆された。 私たちの実装はhttps://github.com/AaronJi/ToSCA.comで公開されています。

関連論文リスト

• Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding [36.605789019423355]
  Think-Strategy-Response (TSR) フレームワークは、社会的対話を高レベルの戦略的計画と低レベルの言語実行という2つの階層的な段階に分解する。 報酬を動的にルーティングする新しいアルゴリズムであるLHRL-VGR(Linearized Hierarchical Reinforcement Learning with Variance-Gated Rewards)を導入する。 実験の結果,本手法は目標達成時のGPT-4oベースラインを7.32%超えるようQwen2.5-7Bエージェントを微調整した。
  論文  参考訳（メタデータ） (2026-08-06T10:00:50Z)
• Moira: Language-driven Hierarchical Reinforcement Learning for Pair Trading [34.923407379006626]
  多くのシーケンシャルな意思決定問題は階層構造を示し、ハイレベルなセマンティックな選択は下流の動作を制限し、フィードバックは遅延し曖昧である。 この課題は、資産対選択のための長期水平意味推論と、部分的可観測性の下での短期水平実行を自然に組み合わせたドメインであるペアトレーディングを通じて研究する。 階層的強化学習問題としてペアトレーディングを定式化し,高レベルかつ低レベルのポリシを大言語モデル(LLM)でパラメータ化し,即時更新によってのみ最適化する言語駆動型最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-03T16:37:52Z)
• Resurfacing Paralinguistic Awareness in Large Audio Language Models [64.48666302711108]
  LALM(Large Audio Language Models)は、人間と音声との相互作用を拡張している。 LALMは通常そのようなパラ言語的な手がかりを無視し、クエリの内容のみに基づいて応答する。 本稿では,パラ言語対応機能を持つLALMに則って,パラ言語対応ファインチューニング(PE-FT)プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-03-12T13:56:42Z)
• Policy-Based Deep Reinforcement Learning Hyperheuristics for Job-Shop Scheduling Problems [3.0098885383612104]
  本稿では,ジョブショップスケジューリング問題を解決するための政策に基づく深層強化学習フレームワークを提案する。 ハイパーヒューリスティックなフレームワークを2つの重要なメカニズムで拡張する。 提案手法は,従来の決定論,メタヒューリスティックス,最近のニューラルネットワークに基づくスケジューリング手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-01-16T11:03:47Z)
• Emergent Hierarchical Reasoning in LLMs through Reinforcement Learning [56.496001894673235]
  強化学習(RL)は,大規模言語モデル(LLM)の複雑な推論能力の向上に有効であることが証明された。 解析の結果,アハモーメント,長さスケーリング,エントロピーのダイナミクスといったファズリング現象は異なる現象ではなく,創発的推論階層の目印であることがわかった。
  論文  参考訳（メタデータ） (2025-09-03T18:52:49Z)
• Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation [51.06031200728449]
  我々はmccHRLと呼ばれる新しいフレームワークを提案し、リストワイドレコメンデーションにおける時間的抽象化のレベルを異なるものにする。 階層的な枠組みの中では、ハイレベルエージェントがユーザ知覚の進化を研究し、低レベルエージェントがアイテム選択ポリシーを作成している。 その結果,本手法による性能改善は,いくつかのよく知られたベースラインと比較して有意な結果が得られた。
  論文  参考訳（メタデータ） (2024-09-11T17:01:06Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• K-Level Reasoning: Establishing Higher Order Beliefs in Large Language Models for Strategic Reasoning [76.3114831562989]
  マルチエージェント環境で戦略を動的に適応させるためには、LLM(Large Language Model)エージェントが必要である。 我々は,「K-Level Reasoning with Large Language Models (K-R)」という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:07:05Z)
• Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control [44.77500987121531]
  階層的模倣学習 (Hierarchical Imitation Learning, HIL) は, 長期作業における複雑度の高い動作を, 専門家による実証から再現するために提案されている。 逆逆強化学習に基づく新しいHILアルゴリズムを開発した。 また,目的をエンド・ツー・エンドで学習するための変分オートエンコーダフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-05T00:28:26Z)
• Abstract Value Iteration for Hierarchical Reinforcement Learning [23.08652058034536]
  本研究では,連続状態と行動空間による制御のための階層型強化学習フレームワークを提案する。 重要な課題は、ADPがマルコフではなく、ADPで計画するための2つのアルゴリズムを提案することである。 我々の手法は、いくつかの挑戦的なベンチマークにおいて、最先端の階層的強化学習アルゴリズムより優れています。
  論文  参考訳（メタデータ） (2020-10-29T14:41:42Z)
• Tree-Structured Policy based Progressive Reinforcement Learning for Temporally Language Grounding in Video [128.08590291947544]
  非トリミングビデオにおける一時的言語接地は、ビデオ理解における新たな課題である。 ヒトの粗大な意思決定パラダイムにインスパイアされた我々は、新しい木構造政策に基づくプログレッシブ強化学習フレームワークを定式化した。
  論文  参考訳（メタデータ） (2020-01-18T15:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。