論文の概要: MineObserver 2.0: A Deep Learning & In-Game Framework for Assessing
Natural Language Descriptions of Minecraft Imagery
- arxiv url: http://arxiv.org/abs/2312.11761v1
- Date: Tue, 19 Dec 2023 00:15:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 17:35:56.336105
- Title: MineObserver 2.0: A Deep Learning & In-Game Framework for Assessing
Natural Language Descriptions of Minecraft Imagery
- Title（参考訳）: MineObserver 2.0:Minecraftイメージの自然言語記述を評価するためのディープラーニングとゲーム内フレームワーク
- Authors: Jay Mahajan, Samuel Hum, Jack Henhapl, Diya Yunus, Matthew Gadbury,
Emi Brown, Jeff Ginger, H. Chad Lane
- Abstract要約: MineObserver 2.0は、Minecraftイメージの学習者が生成した記述の精度を評価するAIフレームワークである。
このシステムは、科学学習活動中に行われる自然言語で書かれた観察観察の精度を自動で評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: MineObserver 2.0 is an AI framework that uses Computer Vision and Natural
Language Processing for assessing the accuracy of learner-generated
descriptions of Minecraft images that include some scientifically relevant
content. The system automatically assesses the accuracy of participant
observations, written in natural language, made during science learning
activities that take place in Minecraft. We demonstrate our system working in
real-time and describe a teacher support dashboard to showcase observations,
both of which advance our previous work. We present the results of a study
showing that MineObserver 2.0 improves over its predecessor both in perceived
accuracy of the system's generated descriptions as well as in usefulness of the
system's feedback. In future work we intend improve system-generated
descriptions, give teachers more control and upgrade the system to perform
continuous learning to more effectively and rapidly respond to novel
observations made by learners.
- Abstract（参考訳）: MineObserver 2.0は、コンピュータビジョンと自然言語処理を使用して、科学的な内容を含むMinecraftイメージの学習者が生成した記述の精度を評価するAIフレームワークである。
このシステムは、マインクラフトで行われている科学学習活動中に、自然言語で書かれた観察者の観察精度を自動的に評価する。
我々は,リアルタイムで作業するシステムを実演し,教師支援ダッシュボードを記述し,観察結果を示す。
本稿では,システムの生成した記述の正確さとフィードバックの有用性の両方において,前者よりも mineobserver 2.0 が改善することを示す研究結果を示す。
今後の課題として,システム生成記述の改善,教師の制御の強化,継続的学習の効率化,学習者による新たな観察への迅速な対応などについて検討する。
関連論文リスト
- In-Memory Learning: A Declarative Learning Framework for Large Language
Models [56.62616975119192]
本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。
このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。
フレームワークの有効性を実証し、この問題に対する洞察を提供する。
論文 参考訳（メタデータ） (2024-03-05T08:25:11Z) - Auto MC-Reward: Automated Dense Reward Design with Large Language Models for Minecraft [88.80684763462384]
本稿では,Large Language Models (LLMs) を利用して高密度報酬関数を自動設計する,Auto MC-Rewardという高度な学習システムを提案する。
実験では、Minecraftの複雑なタスクにおいて、エージェントの成功率と学習効率が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2023-12-14T18:58:12Z) - Combining Gamification and Intelligent Tutoring Systems in a Serious
Game for Engineering Education [2.792030485253753]
本稿では,本ゲームに統合されたパーソナライズされた学習システムの開発から,現在進行中の結果について述べる。
コンピュータインテリジェンスを用いて,ゲーム内行動から収集したデータに基づいて,Webカメラ画像から感情状態を推定することにより,学生に適応的に支援を行う。
本研究では,個人化された学習システムを用いてプレイした学生の事前試験結果を通じて,システムの有効性を実証する。
論文 参考訳（メタデータ） (2023-05-26T01:24:19Z) - K-LITE: Learning Transferable Visual Models with External Knowledge [242.3887854728843]
K-LITE (Knowledge-augmented Language- Image Training and Evaluation) は、外部知識を活用して伝達可能な視覚システムを構築する戦略である。
トレーニングでは、WordNetとWiktionaryの知識で自然言語のエンティティを豊かにする。
評価において、自然言語は外部知識で拡張され、学習された視覚概念を参照するために使用される。
論文 参考訳（メタデータ） (2022-04-20T04:47:01Z) - Grounding Hindsight Instructions in Multi-Goal Reinforcement Learning
for Robotics [14.863872352905629]
本稿では,自然言語の目標表現に対するスパース報酬を用いたロボット強化学習に焦点を当てた。
まず,専門家のフィードバックを生かした後向きの指示再生機構を提案する。
次に,言語的後見命令を生成するセク2seqモデルを提案する。
論文 参考訳（メタデータ） (2022-04-08T22:01:36Z) - Continual Learning for Grounded Instruction Generation by Observing
Human Following Behavior [22.425417134985747]
自然言語命令生成のための連続学習について研究する。
我々は,自然言語を用いてタスクを人間に委譲する,協調的なシナリオに焦点をあてる。
我々は,この信号を用いて,文脈的バンディット学習による命令生成能力を向上させる方法を示す。
論文 参考訳（メタデータ） (2021-08-10T17:53:44Z) - An Adversarial Learning based Multi-Step Spoken Language Understanding
System through Human-Computer Interaction [70.25183730482915]
対戦型学習に基づく多段階音声言語理解システムを提案する。
我々は,F1の観点で解析性能を少なくとも2.5%向上させることを実証した。
論文 参考訳（メタデータ） (2021-06-06T03:46:53Z) - COBE: Contextualized Object Embeddings from Narrated Instructional Video [52.73710465010274]
そこで本稿では,教師ビデオの自動書き起こしからコンテキスト適応型オブジェクト埋め込みを学習するための新しいフレームワークを提案する。
言語の意味的・構成的構造を視覚的検知器を訓練し,オブジェクトとその関連するナレーションの文脈的単語埋め込みを予測する。
実験の結果,検出器は多種多様なコンテキストオブジェクト情報を予測し,少数ショットおよびゼロショット学習の設定において極めて有効であることがわかった。
論文 参考訳（メタデータ） (2020-07-14T19:04:08Z) - CompGuessWhat?!: A Multi-task Evaluation Framework for Grounded Language
Learning [78.3857991931479]
本稿では,属性を用いたグラウンドド言語学習のための評価フレームワークGROLLAを提案する。
また、学習したニューラル表現の品質を評価するためのフレームワークの例として、新しいデータセットCompGuessWhat!?を提案する。
論文 参考訳（メタデータ） (2020-06-03T11:21:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。