論文の概要: Policy Learning with a Language Bottleneck

• arxiv url: http://arxiv.org/abs/2405.04118v1
• Date: Tue, 7 May 2024 08:40:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 14:49:39.364767
• Title: Policy Learning with a Language Bottleneck
• Title（参考訳）: 言語ボトルネックによる政策学習
• Authors: Megha Srivastava, Cedric Colas, Dorsa Sadigh, Jacob Andreas,
• Abstract要約: PLLBB(Policy Learning with a Language Bottleneck)は、AIエージェントが言語規則を生成するためのフレームワークである。 PLLBBは、言語モデルによってガイドされるルール生成ステップと、エージェントがルールによってガイドされる新しいポリシーを学ぶ更新ステップとを交互に使用する。 2人のプレイヤーによるコミュニケーションゲーム、迷路解決タスク、および2つの画像再構成タスクにおいて、PLLBBエージェントはより解釈可能で一般化可能な振る舞いを学習できるだけでなく、学習したルールを人間のユーザと共有できることを示す。
• 参考スコア（独自算出の注目度）: 65.99843627646018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern AI systems such as self-driving cars and game-playing agents achieve superhuman performance, but often lack human-like features such as generalization, interpretability and human inter-operability. Inspired by the rich interactions between language and decision-making in humans, we introduce Policy Learning with a Language Bottleneck (PLLB), a framework enabling AI agents to generate linguistic rules that capture the strategies underlying their most rewarding behaviors. PLLB alternates between a rule generation step guided by language models, and an update step where agents learn new policies guided by rules. In a two-player communication game, a maze solving task, and two image reconstruction tasks, we show that PLLB agents are not only able to learn more interpretable and generalizable behaviors, but can also share the learned rules with human users, enabling more effective human-AI coordination.
• Abstract（参考訳）: 自動運転車やゲームプレイングエージェントのような現代のAIシステムは、超人的なパフォーマンスを達成するが、一般化、解釈可能性、人間の相互運用性といった人間的な特徴を欠いていることが多い。 人間における言語と意思決定の豊かな相互作用にインスパイアされた我々は、AIエージェントが最も報酬のある行動の根底にある戦略を捉える言語ルールを生成できるフレームワークである言語ボトルネック(PLLB)によるポリシー学習を導入する。 PLLBは、言語モデルによってガイドされるルール生成ステップと、エージェントがルールによってガイドされる新しいポリシーを学ぶ更新ステップとを交互に使用する。 2人のプレイヤーによるコミュニケーションゲーム、迷路解決タスク、および2つの画像再構成タスクにおいて、PLLBエージェントはより解釈可能で一般化可能な振る舞いを学習できるだけでなく、学習ルールを人間のユーザと共有し、より効果的な人間とAIの協調を可能にする。

関連論文リスト

• Interpretable Robotic Manipulation from Language [11.207620790833271]
  本稿では,操作タスクに特化して設計された,Ex-PERACTという説明可能な行動クローニングエージェントを紹介する。 トップレベルでは、モデルは個別のスキルコードを学ぶことを任務とし、下位レベルでは、ポリシーネットワークは問題をボクセル化されたグリッドに変換し、離散化されたアクションをボクセルグリッドにマップする。 提案手法は,RLBenchベンチマークを用いた8つの操作課題にまたがって評価し,Ex-PERACTが競合する政策性能を達成するだけでなく,複雑な環境下でのヒューマンインストラクションとマシン実行のギャップを効果的に橋渡しすることを示した。
  論文  参考訳（メタデータ） (2024-05-27T11:02:21Z)
• AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents [58.807802111818994]
  オープンな語彙の指示に従って物理的に妥当な相互作用を学習する新しい階層的手法であるAnySkillを提案する。 我々のアプローチは、模倣学習によって訓練された低レベルコントローラを介して、一連のアトミックアクションを開発することから始まります。 提案手法の重要な特徴は,手動の報酬工学を使わずにオブジェクトとのインタラクションを学習する,高レベルなポリシーに対する画像ベースの報酬の利用である。
  論文  参考訳（メタデータ） (2024-03-19T15:41:39Z)
• Progressively Efficient Learning [58.6490456517954]
  我々はCEIL(Communication-Efficient Interactive Learning)という新しい学習フレームワークを開発した。 CEILは、学習者と教師がより抽象的な意図を交換することで効率的にコミュニケーションする人間のようなパターンの出現につながる。 CEILで訓練されたエージェントは、新しいタスクを素早く習得し、非階層的で階層的な模倣学習を、絶対的な成功率で最大50%、20%上回った。
  論文  参考訳（メタデータ） (2023-10-13T07:52:04Z)
• "No, to the Right" -- Online Language Corrections for Robotic Manipulation via Shared Autonomy [70.45420918526926]
  LILACは、実行中に自然言語の修正をオンラインで実施し、適応するためのフレームワークである。 LILACは人間とロボットを個別にターンテイクする代わりに、人間とロボットの間にエージェンシーを分割する。 提案手法は,タスク完了率が高く,ユーザによって主観的に好まれることを示す。
  論文  参考訳（メタデータ） (2023-01-06T15:03:27Z)
• LISA: Learning Interpretable Skill Abstractions from Language [85.20587800593293]
  言語条件による実演から多種多様な解釈可能なスキルを学習できる階層型模倣学習フレームワークを提案する。 本手法は, 逐次的意思決定問題において, 言語に対するより自然な条件付け方法を示す。
  論文  参考訳（メタデータ） (2022-02-28T19:43:24Z)
• Natural Language Specification of Reinforcement Learning Policies through Differentiable Decision Trees [10.406631494442683]
  人間-AIポリシー仕様は、人間がロボットの強化学習ポリシーを協調的に温めるための、我々が定義した新しい手順である。 我々は,自律エージェントの行動の初期化と解釈を可能にする,新しい協調フレームワークを開発した。 提案手法は,ドメイン探索コストを増大させることなく,未経験の自然言語仕様を利用することで,RLエージェントをウォームスタートさせる。
  論文  参考訳（メタデータ） (2021-01-18T16:07:00Z)
• Language-Conditioned Imitation Learning for Robot Manipulation Tasks [39.40937105264774]
  本研究では,非構造化自然言語を模倣学習に組み込む手法を提案する。 訓練時には、専門家は、基礎となる意図を説明するために、言語記述とともにデモンストレーションを行うことができる。 トレーニングプロセスはこれらの2つのモードを相互に関連付け、言語、知覚、動きの相関を符号化する。 結果として得られた言語条件のvisuomotorポリシーは、実行時に新しいヒューマンコマンドと命令で条件付けできる。
  論文  参考訳（メタデータ） (2020-10-22T21:49:08Z)
• On the interaction between supervision and self-play in emergent communication [82.290338507106]
  本研究は,2つのカテゴリの学習信号と,サンプル効率の向上を目標とする学習信号の関係について検討する。 人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話に優れていることが判明した。
  論文  参考訳（メタデータ） (2020-02-04T02:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。