論文の概要: Situated Language Learning via Interactive Narratives
- arxiv url: http://arxiv.org/abs/2103.09977v1
- Date: Thu, 18 Mar 2021 01:55:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-19 14:13:33.537261
- Title: Situated Language Learning via Interactive Narratives
- Title（参考訳）: 対話型ナラティブによる言語学習
- Authors: Prithviraj Ammanabrolu and Mark O. Riedl
- Abstract要約: 本稿では,文脈的関連のある自然言語を理解し,生成する能力を持つ学習エージェントの活用方法について考察する。
このようなエージェントを作成するための2つの重要なコンポーネントは、相互作用と環境接地です。
テキストゲームのパズルのような構造と自然言語状態とアクション空間が組み合わさったユニークな課題について論じる。
- 参考スコア（独自算出の注目度）: 16.67845396797253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper provides a roadmap that explores the question of how to imbue
learning agents with the ability to understand and generate contextually
relevant natural language in service of achieving a goal. We hypothesize that
two key components in creating such agents are interactivity and environment
grounding, shown to be vital parts of language learning in humans, and posit
that interactive narratives should be the environments of choice for such
training these agents. These games are simulations in which an agent interacts
with the world through natural language -- "perceiving", "acting upon", and
"talking to" the world using textual descriptions, commands, and dialogue --
and as such exist at the intersection of natural language processing,
storytelling, and sequential decision making. We discuss the unique challenges
a text games' puzzle-like structure combined with natural language
state-and-action spaces provides: knowledge representation, commonsense
reasoning, and exploration. Beyond the challenges described so far, progress in
the realm of interactive narratives can be applied in adjacent problem domains.
These applications provide interesting challenges of their own as well as
extensions to those discussed so far. We describe three of them in detail: (1)
evaluating AI system's commonsense understanding by automatically creating
interactive narratives; (2) adapting abstract text-based policies to include
other modalities such as vision; and (3) enabling multi-agent and human-AI
collaboration in shared, situated worlds.
- Abstract（参考訳）: 本稿では,目標達成に資する文脈的自然言語を理解・生成する能力を備えた学習エージェントの育成方法についてのロードマップを提供する。
このようなエージェントを作成する上で重要な2つの要素は、人間の言語学習の不可欠な部分である対話性と環境基盤であり、対話的な物語はそのようなエージェントを訓練するための環境であるべきだと仮定する。
これらのゲームは、エージェントが自然言語を通じて世界と相互作用するシミュレーションであり、テキスト記述、コマンド、対話を用いて「知覚」、「作用」、そして「対話」によって世界と対話する。
テキストゲームのパズルのような構造と自然言語状態とアクション空間が組み合わさったユニークな課題である知識表現、常識推論、探索について論じる。
これまで述べた課題以外にも、インタラクティブな物語の領域の進歩は、隣接する問題領域に適用できる。
これらのアプリケーションは、これまで議論されてきた拡張と同様に、彼ら自身の興味深い課題を提供します。
1)対話的な物語を自動生成することでAIシステムの常識的理解を評価すること,(2)視覚などの他のモダリティを含む抽象テキストベースのポリシーを適用すること,(3)共有された位置のある世界でのマルチエージェントと人間とAIの協調を可能にすること,である。
関連論文リスト
- Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。
コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
論文 参考訳（メタデータ） (2023-11-26T09:11:32Z) - Learning to Model the World with Language [100.76069091703505]
人間と対話し、世界で行動するためには、エージェントは人々が使用する言語の範囲を理解し、それを視覚の世界に関連付ける必要がある。
私たちのキーとなるアイデアは、エージェントが将来を予測するのに役立つ信号として、このような多様な言語を解釈すべきである、ということです。
我々は、将来のテキストや画像表現を予測するマルチモーダル世界モデルを学ぶエージェントであるDynalangでこれをインスタンス化する。
論文 参考訳（メタデータ） (2023-07-31T17:57:49Z) - Tachikuma: Understading Complex Interactions with Multi-Character and
Novel Objects by Large Language Models [67.20964015591262]
我々は,複数文字と新しいオブジェクトベースインタラクション推定タスクとサポートデータセットからなる,立久間というベンチマークを導入する。
このデータセットは、ゲームプレイ中のリアルタイム通信からログデータをキャプチャし、多様な、接地された複雑なインタラクションを提供して、さらなる探索を行う。
本稿では,対話理解の強化に有効であることを示すため,簡単なプロンプトベースラインを提案し,その性能評価を行う。
論文 参考訳（メタデータ） (2023-07-24T07:40:59Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳（メタデータ） (2023-05-22T17:18:29Z) - Transforming Human-Centered AI Collaboration: Redefining Embodied Agents
Capabilities through Interactive Grounded Language Instructions [23.318236094953072]
人間の知能の適応性は目覚ましいもので、新しいタスクやマルチモーダル環境に迅速に適応することができる。
研究コミュニティはインタラクティブな「身体的エージェント」の開発を積極的に進めている
これらのエージェントは、コミュニケーションが壊れたり、指示が不明確であったりした場合に、迅速にフィードバックをリクエストする能力を持っていなければならない。
論文 参考訳（メタデータ） (2023-05-18T07:51:33Z) - Knowledge-enhanced Agents for Interactive Text Games [16.055119735473017]
テキストベースのゲームにおいてエージェントの機能的接地を改善するための知識注入フレームワークを提案する。
学習に基づくエージェントに注入するドメイン知識の2つの形態について考察する。
我々のフレームワークは、強化学習エージェントと言語モデルエージェントの2つの代表的なモデルクラスをサポートしている。
論文 参考訳（メタデータ） (2023-05-08T23:31:39Z) - Collecting Interactive Multi-modal Datasets for Grounded Language
Understanding [66.30648042100123]
自然言語タスクを用いた協調型エンボディエージェントの定式化を行った。
広範かつスケーラブルなデータ収集ツールを開発しました。
対話型基底言語理解のための最初のデータセットを収集した。
論文 参考訳（メタデータ） (2022-11-12T02:36:32Z) - Learning Knowledge Graph-based World Models of Textual Environments [16.67845396797253]
本研究は,テキストベースのゲーム環境のワールドモデル構築に焦点をあてる。
1)知識グラフとして世界を表現する際のエージェントの行動によって引き起こされる世界の変化を予測し,(2)世界での操作に必要な文脈的に関連する自然言語行動の集合を生成する。
論文 参考訳（メタデータ） (2021-06-17T15:45:54Z) - Modeling Worlds in Text [16.67845396797253]
対話的な物語の知識グラフに基づく世界モデルを構築することができる学習エージェントの作成を可能にするデータセットを提供する。
我々のデータセットは、豊かな自然言語観測と知識グラフの間の24198のマッピングを提供する。
トレーニングデータは、複数のジャンルの27のゲームにまたがって収集され、さらに7836のホールトアウトインスタンスがテストセットに追加の9つのゲームに格納されている。
論文 参考訳（メタデータ） (2021-06-17T15:02:16Z) - Experience Grounds Language [185.73483760454454]
言語理解研究は、言語が記述する物理的世界と、それが促進する社会的相互作用とを関連づけることに失敗している。
テキストだけで訓練された後にタスクに取り組むための言語処理モデルの驚くべき効果にもかかわらず、成功した言語コミュニケーションは世界の共有経験に依存している。
論文 参考訳（メタデータ） (2020-04-21T16:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。