論文の概要: Nebula: A discourse aware Minecraft Builder
- arxiv url: http://arxiv.org/abs/2406.18164v2
- Date: Wed, 02 Oct 2024 08:40:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:18:11.406976
- Title: Nebula: A discourse aware Minecraft Builder
- Title(参考訳): Nebula:Minecraft Builderを意識した講演
- Authors: Akshay Chaturvedi, Kate Thompson, Nicholas Asher,
- Abstract要約: 先行した言論と非言語的文脈を取り入れることで、そのような相互作用の「言語から行動への」要素がいかに改善されるかを示す。
私たちのモデルであるNebulaは、このタスクのベースライン上でのネットアクションF1スコアを2倍にします。
- 参考スコア(独自算出の注目度): 4.014524824655106
- License:
- Abstract: When engaging in collaborative tasks, humans efficiently exploit the semantic structure of a conversation to optimize verbal and nonverbal interactions. But in recent "language to code" or "language to action" models, this information is lacking. We show how incorporating the prior discourse and nonlinguistic context of a conversation situated in a nonlinguistic environment can improve the "language to action" component of such interactions. We finetune an LLM to predict actions based on prior context; our model, Nebula, doubles the net-action F1 score over the baseline on this task of Jayannavar et al.(2020). We also investigate our model's ability to construct shapes and understand location descriptions using a synthetic dataset
- Abstract(参考訳): 協調作業を行う際、人間は会話の意味的構造を効果的に活用し、言語的および非言語的相互作用を最適化する。
しかし、最近の"Language to Code"や"Language to Action"モデルでは、この情報は欠落している。
非言語的環境にある会話の事前の言論と非言語的文脈を組み込むことが、そのような相互作用の「言語から行動への」要素をいかに改善するかを示す。
我々のモデルであるNebulaは、Jayannavar et al(2020)のこのタスクのベースライン上でのネットアクションF1スコアを2倍にします。
また、我々のモデルが形状を構築し、位置記述を合成データセットで理解する能力についても検討する。
関連論文リスト
- Dialogue Action Tokens: Steering Language Models in Goal-Directed Dialogue with a Multi-Turn Planner [51.77263363285369]
本稿では,対話行動トークンと呼ばれる言語モデルエージェントを用いて,目標指向の対話を計画する手法を提案する。
中心となる考え方は、各発話をアクションとして扱うことで、強化学習のような既存のアプローチを適用することができるゲームに対話を変換することである。
論文 参考訳(メタデータ) (2024-06-17T18:01:32Z) - CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues [4.427811636536821]
CantTalkAboutこのデータセットは、異なるドメインからの幅広い会話トピックに関する合成対話で構成されている。
このデータセット上の微調整言語モデルは、割り当てられたロールから逸脱する耐性を高めるのに役立ちます。
予備的な観察は、このデータセットのトレーニングモデルが、安全アライメントを含む、きめ細かい指示に従うタスクのパフォーマンスを向上させることを示唆している。
論文 参考訳(メタデータ) (2024-04-04T22:31:58Z) - Integrating Self-supervised Speech Model with Pseudo Word-level Targets
from Visually-grounded Speech Model [57.78191634042409]
擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。
4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
論文 参考訳(メタデータ) (2024-02-08T16:55:21Z) - Towards Joint Modeling of Dialogue Response and Speech Synthesis based
on Large Language Model [8.180382743037082]
本稿では,AI音声対話システムの構築の可能性について考察する。
論文 参考訳(メタデータ) (2023-09-20T01:48:27Z) - On decoder-only architecture for speech-to-text and large language model
integration [59.49886892602309]
Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。
我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
論文 参考訳(メタデータ) (2023-07-08T06:47:58Z) - Joint Modelling of Spoken Language Understanding Tasks with Integrated
Dialog History [30.20353302347147]
本研究では,発話の意図,対話行動,話者の役割,感情を共同で予測するために,対話コンテキストを学習する新しいモデルアーキテクチャを提案する。
本実験は,タスク固有分類器と類似した結果が得られることを示す。
論文 参考訳(メタデータ) (2023-05-01T16:26:18Z) - Verbs in Action: Improving verb understanding in video-language models [128.87443209118726]
CLIPに基づく最先端のビデオ言語モデルは、動詞の理解が限られていることが示されている。
我々は,CLIPに基づくビデオ言語モデルの動詞理解を改善するために,新しいVerb-Focused Contrastiveフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-13T17:57:01Z) - Towards Transparent Interactive Semantic Parsing via Step-by-Step
Correction [17.000283696243564]
自然言語における予測論理形式を段階的に説明する対話型意味解析フレームワークについて検討する。
フレームワークのインスタンス化として,知識ベース(KBQA)に対する質問応答に注目した。
実験の結果,人間のフィードバックによる対話型フレームワークは,全体の解析精度を大幅に向上させる可能性が示唆された。
論文 参考訳(メタデータ) (2021-10-15T20:11:22Z) - A Neural Network-Based Linguistic Similarity Measure for Entrainment in
Conversations [12.052672647509732]
言語訓練は、人々が会話でお互いを模倣する傾向がある現象である。
現在の類似度尺度のほとんどは、back-of-wordsアプローチに基づいている。
本稿では,ニューラルネットワークモデルを用いて,運動の類似度を測定することを提案する。
論文 参考訳(メタデータ) (2021-09-04T19:48:17Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳(メタデータ) (2020-09-24T07:21:14Z) - Structured Attention for Unsupervised Dialogue Structure Induction [110.12561786644122]
本稿では、構造化された注意層を離散潜在状態を持つ変化型リカレントニューラルネットワーク(VRNN)モデルに組み込んで、教師なしの方法で対話構造を学ぶことを提案する。
バニラVRNNと比較して、構造化された注意は、構造的帰納バイアスを強制しながら、ソース文の埋め込みの異なる部分にフォーカスすることができる。
論文 参考訳(メタデータ) (2020-09-17T23:07:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。