論文の概要: PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World

• arxiv url: http://arxiv.org/abs/2106.00188v1
• Date: Tue, 1 Jun 2021 02:32:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:40:51.308775
• Title: PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World
• Title（参考訳）: PIGLeT:3次元世界におけるニューロ・シンボリック相互作用による言語接地
• Authors: Rowan Zellers, Ari Holtzman, Matthew Peters, Roozbeh Mottaghi, Aniruddha Kembhavi, Ali Farhadi, Yejin Choi
• Abstract要約: 我々はPIGLeTを物理力学モデルと別言語モデルに分類する。 PIGLeTは文を読み、次に何が起こるか神経的にシミュレートし、その結果を文字通りの記号表現を通して伝達する。 80%以上の英語の文から「次に何が起こるか」を正確に予測することができ、100倍以上のテキスト・テキスト・アプローチを10%以上上回っている。
• 参考スコア（独自算出の注目度）: 86.21137454228848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose PIGLeT: a model that learns physical commonsense knowledge through interaction, and then uses this knowledge to ground language. We factorize PIGLeT into a physical dynamics model, and a separate language model. Our dynamics model learns not just what objects are but also what they do: glass cups break when thrown, plastic ones don't. We then use it as the interface to our language model, giving us a unified model of linguistic form and grounded meaning. PIGLeT can read a sentence, simulate neurally what might happen next, and then communicate that result through a literal symbolic representation, or natural language. Experimental results show that our model effectively learns world dynamics, along with how to communicate them. It is able to correctly forecast "what happens next" given an English sentence over 80% of the time, outperforming a 100x larger, text-to-text approach by over 10%. Likewise, its natural language summaries of physical interactions are also judged by humans as more accurate than LM alternatives. We present comprehensive analysis showing room for future work.
• Abstract（参考訳）: PIGLeT - 相互作用を通して物理的常識知識を学習し,その知識を基底言語に利用するモデルを提案する。 我々はPIGLeTを物理力学モデルと別言語モデルに分類する。 私たちのダイナミクスモデルは、どんな物体なのかだけでなく、それらが何をしているのかも学べます。 次に、言語モデルのインターフェースとして使用し、言語形式と基礎的意味の統一モデルを提供します。 PIGLeTは文を読み、次に何が起こるか神経的にシミュレートし、その結果をリテラル記号表現または自然言語で伝達する。 実験結果から,我々のモデルは世界力学を効果的に学習し,コミュニケーションの仕方を示した。 80%以上の英語の文から「次に何が起こるか」を正確に予測することができ、100倍以上のテキスト・テキスト・アプローチを10%以上上回っている。 同様に、物理相互作用の自然言語の要約も、人間がLMの代替品よりも正確であると判断する。 今後の仕事の場を示す包括的分析を行う。

関連論文リスト

• Visually Grounded Language Learning: a review of language games, datasets, tasks, and models [60.2604624857992]
  多くのVision+Language (V+L)タスクは、視覚的モダリティでシンボルをグラウンドできるモデルを作成することを目的として定義されている。 本稿では,V+L分野において提案されるいくつかの課題とモデルについて,系統的な文献レビューを行う。
  論文  参考訳（メタデータ） (2023-12-05T02:17:29Z)
• Learning to Model the World with Language [100.76069091703505]
  人間と対話し、世界で行動するためには、エージェントは人々が使用する言語の範囲を理解し、それを視覚の世界に関連付ける必要がある。 私たちのキーとなるアイデアは、エージェントが将来を予測するのに役立つ信号として、このような多様な言語を解釈すべきである、ということです。 我々は、将来のテキストや画像表現を予測するマルチモーダル世界モデルを学ぶエージェントであるDynalangでこれをインスタンス化する。
  論文  参考訳（メタデータ） (2023-07-31T17:57:49Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Mind's Eye: Grounded Language Model Reasoning through Simulation [47.654525013443255]
  我々は,物理世界における基礎言語モデル推論のパラダイムであるMind's Eyeを提示する。 実験により、マインドズアイは推論能力を大きく向上させることができることが示された。 Mind's Eyeで武装したより小さな言語モデルは、100倍の大きさのモデルと同じようなパフォーマンスを得ることができる。
  論文  参考訳（メタデータ） (2022-10-11T11:39:23Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• Do As I Can, Not As I Say: Grounding Language in Robotic Affordances [119.29555551279155]
  大規模な言語モデルは、世界に関する豊富な意味知識を符号化することができる。 このような知識は、自然言語で表現された高レベルで時間的に拡張された命令を動作させようとするロボットにとって極めて有用である。 低レベルのスキルを大規模言語モデルと組み合わせることで,言語モデルが複雑かつ時間的に拡張された命令を実行する手順について高いレベルの知識を提供することを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:57:11Z)
• Uncovering Constraint-Based Behavior in Neural Models via Targeted Fine-Tuning [9.391375268580806]
  本研究は,言語知識が不明な言語内での競合する言語プロセスを示す。 人間の行動は言語間で類似していることがわかったが、モデル行動の言語間差異は見いだされている。 以上の結果から,言語における言語的制約と相対的ランクの双方をモデルが学習する必要があることが示唆された。
  論文  参考訳（メタデータ） (2021-06-02T14:52:11Z)
• Implicit Representations of Meaning in Neural Language Models [31.71898809435222]
  会話を通して進化する実体や状況のモデルとして機能する文脈表現を同定する。 その結果,事前学習されたニューラルネットワークモデルにおける予測は,少なくとも部分的には,意味の動的表現と実体状態の暗黙的なシミュレーションによって支持されていることが示唆された。
  論文  参考訳（メタデータ） (2021-06-01T19:23:20Z)
• A Visuospatial Dataset for Naturalistic Verb Learning [18.654373173232205]
  基礎言語モデルのトレーニングと評価のための新しいデータセットを導入する。 我々のデータはバーチャルリアリティー環境で収集され、言語データの品質をエミュレートするように設計されている。 収集したデータを用いて、動詞学習のための複数の分布意味論モデルを比較する。
  論文  参考訳（メタデータ） (2020-10-28T20:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。