論文の概要: "What's my model inside of?": Exploring the role of environments for
grounded natural language understanding
- arxiv url: http://arxiv.org/abs/2402.02548v1
- Date: Sun, 4 Feb 2024 15:52:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:00:30.646466
- Title: "What's my model inside of?": Exploring the role of environments for
grounded natural language understanding
- Title（参考訳）: 「私のモデルはどうなっているか?」 : 基礎的自然言語理解における環境の役割を探る
- Authors: Ronen Tamari
- Abstract要約: この論文では、自然言語理解(NLU)研究に対する生態学的アプローチを採用する。
我々は,テキストベースのゲーム環境に基づく手続き的テキスト理解のための新しいトレーニングとアノテーションアプローチを開発した。
我々は,科学者のような知識労働者を対象とした,AIを活用した「社会的思考環境」の設計を提案する。
- 参考スコア（独自算出の注目度）: 1.8829370712240063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In contrast to classical cognitive science which studied brains in isolation,
ecological approaches focused on the role of the body and environment in
shaping cognition. Similarly, in this thesis we adopt an ecological approach to
grounded natural language understanding (NLU) research. Grounded language
understanding studies language understanding systems situated in the context of
events, actions and precepts in naturalistic/simulated virtual environments.
Where classic research tends to focus on designing new models and optimization
methods while treating environments as given, we explore the potential of
environment design for improving data collection and model development. We
developed novel training and annotation approaches for procedural text
understanding based on text-based game environments. We also drew upon embodied
cognitive linguistics literature to propose a roadmap for grounded NLP
research, and to inform the development of a new benchmark for measuring the
progress of large language models on challenging commonsense reasoning tasks.
We leveraged the richer supervision provided by text-based game environments to
develop Breakpoint Transformers, a novel approach to modeling intermediate
semantic information in long narrative or procedural texts. Finally, we
integrated theories on the role of environments in collective human
intelligence to propose a design for AI-augmented "social thinking
environments" for knowledge workers like scientists.
- Abstract（参考訳）: 孤立して脳を研究した古典的認知科学とは対照的に、生態学的アプローチは認知の形成における身体と環境の役割に焦点を当てた。
同様に、この論文では、基底自然言語理解(NLU)研究への生態学的アプローチを採用しています。
接地言語理解は、自然主義的/シミュレーションされた仮想環境における出来事、行動、規範の文脈にある言語理解システムを研究する。
従来の研究では,環境を考慮しながら新しいモデルの設計と最適化手法に注目する傾向にあり,データ収集とモデル開発を改善するための環境設計の可能性について検討する。
テキストベースのゲーム環境に基づく手続き的テキスト理解のための新しいトレーニングとアノテーション手法を開発した。
また,具体化された認知言語学文献を参考に,基礎的nlp研究のロードマップを提示するとともに,大規模言語モデルの進歩を測定するための新たな指標を,常識的推論課題に対して提示する。
我々は,テキストベースのゲーム環境によって提供されるより豊かな監督を活用し,長文や手続き文の中間意味情報をモデル化する新しい手法であるブレークポイントトランスフォーマーを開発した。
最後に,人間集団知能における環境の役割に関する理論を総合し,科学者のような知識労働者のための「社会的思考環境」の設計を提案する。
関連論文リスト
- Language Evolution with Deep Learning [49.879239655532324]
計算モデリングは言語の出現の研究において重要な役割を担っている。
構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。
この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
論文 参考訳（メタデータ） (2024-03-18T16:52:54Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳（メタデータ） (2023-07-25T17:59:18Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳（メタデータ） (2023-05-22T17:18:29Z) - Embodied Agents for Efficient Exploration and Smart Scene Description [47.82947878753809]
我々は、自律的なエージェントが見えない屋内環境を探索し、マッピングする必要がある視覚ナビゲーションの設定に取り組む。
本稿では,視覚ロボット探査と画像キャプションの最近の進歩を組み合わせたアプローチを提案し,評価する。
提案手法は,環境の意味的知識を最大化し,繰り返しを避けるスマートなシーン記述を生成する。
論文 参考訳（メタデータ） (2023-01-17T19:28:01Z) - Improving Policy Learning via Language Dynamics Distillation [87.27583619910338]
本稿では,言語記述による実演を前提とした環境動態予測モデルであるLanguage Dynamics Distillation(LDD)を提案する。
実演における言語記述は,環境全体にわたるサンプル効率と一般化を改善することを示す。
論文 参考訳（メタデータ） (2022-09-30T19:56:04Z) - A Systematic Survey of Text Worlds as Embodied Natural Language
Environments [0.76146285961466]
Text Worldsは2Dや3D環境とは異なり、テキスト記述のみを使用してレンダリングされる、エンボディエージェント用の仮想環境である。
これらの環境は、参入障壁が低いため、高忠実度3D環境の代替となる。
論文 参考訳（メタデータ） (2021-07-08T22:15:16Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳（メタデータ） (2020-10-14T17:54:42Z) - Zero-Shot Compositional Policy Learning via Language Grounding [13.45138913186308]
人間は、言語記述のような世界に関する事前の知識を活用することで、新しいタスクに迅速に適応することができる。
本研究では,環境のダイナミクスを視覚的外観から切り離す新たな研究プラットフォームであるBabyAI++を紹介する。
現在の言語誘導型RL/IL技術は、トレーニング環境に過度に適合し、目に見えない組み合わせに直面すると大きなパフォーマンス低下に悩まされる。
論文 参考訳（メタデータ） (2020-04-15T16:58:19Z) - Ecological Semantics: Programming Environments for Situated Language
Understanding [25.853707930426175]
基底言語学習アプローチは、よりリッチでより構造化されたトレーニング環境に学習を集中させることによって、より深い理解の約束を提供する。
環境を意味表現における「第一級市民」として扱うことを提案する。
我々は、モデルが手当の言語で理解し、プログラムし始めなければならないと論じている。
論文 参考訳（メタデータ） (2020-03-10T08:24:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。