論文の概要: From Actions to Words: Towards Abstractive-Textual Policy Summarization in RL

• arxiv url: http://arxiv.org/abs/2503.10509v2
• Date: Thu, 14 Aug 2025 14:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 15:52:16.781261
• Title: From Actions to Words: Towards Abstractive-Textual Policy Summarization in RL
• Title（参考訳）: 行動から言葉へ:RLにおける抽象的・テキスト的政策要約に向けて
• Authors: Sahar Admoni, Assaf Hallak, Yftah Ziser, Omer Ben-Porat, Ofra Amir,
• Abstract要約: 我々は,SySLLM (Synthesized Summary using Large Language Models)を導入し,抽象的・テクスチュアルな政策説明の新しいパラダイムを提案する。 SySLLMは、エージェントポリシーの構造的で理解しやすい説明を提供するテキスト要約を生成する。 評価の結果,SySLLMは,人的専門家が認識した目標選択や探索戦略などの重要な洞察を捉えていることがわかった。
• 参考スコア（独自算出の注目度）: 15.086649256497653
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Policies generated by Reinforcement Learning (RL) algorithms are difficult to explain to users, as they emerge from the interaction of complex reward structures and neural network representations. Consequently, analyzing and predicting agent behavior can be challenging, undermining user trust in real-world applications. To facilitate user understanding, current methods for global policy summarization typically rely on videos that demonstrate agent behavior in a subset of world states. However, users can only watch a limited number of demonstrations, constraining their understanding. Moreover, these methods place the burden of interpretation on users by presenting raw behaviors rather than synthesizing them into coherent patterns. To resolve these issues, we introduce SySLLM (Synthesized Summary using Large Language Models), advocating for a new paradigm of abstractive-textual policy explanations. By leveraging Large Language Models (LLMs)-which possess extensive world knowledge and pattern synthesis capabilities-SySLLM generates textual summaries that provide structured and comprehensible explanations of agent policies. SySLLM demonstrates that LLMs can interpret spatio-temporally structured descriptions of state-action trajectories from an RL agent and generate valuable policy insights in a zero-shot setting, without any prior knowledge or fine-tuning. Our evaluation shows that SySLLM captures key insights, such as goal preferences and exploration strategies, that were also identified by human experts. Furthermore, in a large-scale user study (with 200 participants), SySLLM summaries were preferred over demonstration-based summaries (HIGHLIGHTS) by a clear majority (75.5%) of participants.
• Abstract（参考訳）: 強化学習(RL)アルゴリズムによって生成されたポリシーは、複雑な報酬構造とニューラルネットワーク表現の相互作用から生まれるため、ユーザには説明が難しい。 その結果、エージェントの動作を分析し予測することは困難になり、現実世界のアプリケーションに対するユーザの信頼を損なうことになる。 ユーザ理解を容易にするため、現在のグローバルポリシー要約の方法は、通常、世界のサブセットでエージェントの振る舞いを示すビデオに依存している。 しかし、ユーザーは限られた数のデモしか見ることができず、理解を制限できる。 さらに、これらの手法は、それらをコヒーレントなパターンに合成するのではなく、生の振る舞いを提示することで、利用者に解釈の負担を与える。 これらの問題を解決するため,SySLLM (Synthesized Summary using Large Language Models)を導入し,抽象的・テクスチュアルな政策説明の新しいパラダイムを提案する。 広い世界知識とパターン合成能力を持つLLM(Large Language Models)を活用することで、SySLLMはエージェントポリシーの構造的で理解しやすい説明を提供するテキスト要約を生成する。 SySLLMは、LLMがRLエージェントから時空間的に構造化された状態-作用軌跡の記述を解釈し、事前の知識や微調整なしにゼロショット設定で貴重な政策洞察を生成することができることを示した。 評価の結果,SySLLMは,人的専門家が認識した目標選択や探索戦略などの重要な洞察を捉えていることがわかった。 さらに、200人を対象にした大規模なユーザスタディでは、SySLLMサマリーはデモベースのサマリー(HIGHLIGHTS)よりも、75.5%の明確な多数(75.5%)で好まれていた。

関連論文リスト

• Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis [20.503153899462323]
  本稿では,半教師付き感情分析のためのフレームワークを提案する。 テキストを意味的に拡張する2つのプロンプト戦略を導入する。 実験により,従来の半教師付き手法よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2025-01-29T12:03:11Z)
• LLMs for Generalizable Language-Conditioned Policy Learning under Minimal Data Requirements [50.544186914115045]
  本稿では,オフライン言語によるポリシー学習のための新しいトレーニングパイプラインTEDUOを提案する。 TEDUOは、分かりやすい、ラベルなしのデータセットを運用し、いわゆるインザワイルド評価(in-the-wild evaluation)に適している。
  論文  参考訳（メタデータ） (2024-12-09T18:43:56Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Privacy Policy Analysis through Prompt Engineering for LLMs [3.059256166047627]
  PAPEL (Privacy Policy Analysis through Prompt Engineering for LLMs) は、Large Language Models (LLMs) の力を利用してプライバシーポリシーの分析を自動化するフレームワークである。 これらのポリシーからの情報の抽出、アノテーション、要約を合理化し、追加のモデルトレーニングを必要とせず、アクセシビリティと理解性を高めることを目的としている。 PAPELの有効性を, (i) アノテーションと (ii) 矛盾解析の2つの応用で実証した。
  論文  参考訳（メタデータ） (2024-09-23T10:23:31Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Understanding Large Language Model Behaviors through Interactive Counterfactual Generation and Analysis [22.755345889167934]
  本稿では,大規模言語モデル (LLM) の対実解析による探索を可能にする対話型可視化システムを提案する。 本システムは,意味論的に意味のある反事実を生成する新しいアルゴリズムを特徴とする。 LLM実践者とのユーザスタディと専門家とのインタビューは、システムのユーザビリティと有効性を示している。
  論文  参考訳（メタデータ） (2024-04-23T19:57:03Z)
• Vision-Language Models Provide Promptable Representations for Reinforcement Learning [67.40524195671479]
  視覚言語モデル(VLM)に符号化された多量の一般知識と索引可能な世界知識をインターネット規模で事前学習して具体的強化学習(RL)を行う新しい手法を提案する。 提案手法では,共通意味的推論の表現にチェーン・オブ・シントを用いることで,新規シーンのポリシー性能を1.5倍向上できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T00:48:56Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Representation Learning with Large Language Models for Recommendation [33.040389989173825]
  本稿では,大規模言語モデル (LLM) を用いた表現学習によるレコメンデータの強化を目的とした,モデルに依存しないフレームワーク RLMRec を提案する。 RLMRecには補助的なテキスト信号が組み込まれており、LLMが権限を持つユーザ/イテムプロファイリングパラダイムを開発し、LLMの意味空間と協調的関係信号の表現空間を整合させる。
  論文  参考訳（メタデータ） (2023-10-24T15:51:13Z)
• Large Language Models as General Pattern Machines [64.75501424160748]
  我々は,事前訓練された大規模言語モデル (LLM) が,複雑なトークンシーケンスを自動回帰的に完了することを示す。 驚いたことに、語彙からランダムにサンプリングされたトークンを用いてシーケンスが表現された場合でも、パターン完了の習熟度を部分的に保持することができる。 本研究では,ロボット工学における問題に対して,これらのゼロショット機能がどのように適用されるかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T17:32:13Z)
• Learning Symbolic Rules over Abstract Meaning Representations for Textual Reinforcement Learning [63.148199057487226]
  本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。 実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
  論文  参考訳（メタデータ） (2023-07-05T23:21:05Z)
• Mimicking Better by Matching the Approximate Action Distribution [48.95048003354255]
  そこで我々は,Imitation Learning from Observationsのための新しい,サンプル効率の高いオンライン政治アルゴリズムMAADを紹介する。 我々は、専門家のパフォーマンスを達成するためには、かなり少ないインタラクションが必要であり、現在最先端の政治手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T12:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。