論文の概要: Presentation and Analysis of a Multimodal Dataset for Grounded Language Learning

• arxiv url: http://arxiv.org/abs/2007.14987v4
• Date: Mon, 28 Sep 2020 16:47:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 20:45:17.703640
• Title: Presentation and Analysis of a Multimodal Dataset for Grounded Language Learning
• Title（参考訳）: 基底言語学習のためのマルチモーダルデータセットの提示と解析
• Authors: Patrick Jenkins, Rishabh Sachdeva, Gaoussou Youssouf Kebe, Padraig Higgins, Kasra Darvish, Edward Raff, Don Engel, John Winder, Francis Ferraro, Cynthia Matuszek
• Abstract要約: 接地的な言語習得は、言語に基づく相互作用が周囲の世界をどのように参照するかを学ぶことを伴う。 実際には、学習に使用されるデータは、実際の人間のインタラクションよりもクリーンで、クリアで、文法的な傾向があります。 本稿では,話し言葉と書き言葉を併用した家庭内共通物体のデータセットについて述べる。
• 参考スコア（独自算出の注目度）: 32.28310581819443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grounded language acquisition -- learning how language-based interactions refer to the world around them -- is amajor area of research in robotics, NLP, and HCI. In practice the data used for learning consists almost entirely of textual descriptions, which tend to be cleaner, clearer, and more grammatical than actual human interactions. In this work, we present the Grounded Language Dataset (GoLD), a multimodal dataset of common household objects described by people using either spoken or written language. We analyze the differences and present an experiment showing how the different modalities affect language learning from human in-put. This will enable researchers studying the intersection of robotics, NLP, and HCI to better investigate how the multiple modalities of image, text, and speech interact, as well as show differences in the vernacular of these modalities impact results.
• Abstract（参考訳）: ロボット工学、nlp、およびhciの研究分野は、言語ベースのインタラクションが周囲の世界をどのように指しているのかを学ぶことにある。 実際には、学習に使用されるデータは、ほとんど完全にテキストによる記述で構成されており、実際の人間の相互作用よりもクリーンで明瞭で文法的な傾向がある。 本研究では,話し言葉や書き言葉を使用する人々によって記述される共通家庭オブジェクトのマルチモーダルデータセットであるGunded Language Dataset(GoLD)を提案する。 違いを分析し,異なるモダリティが人間のインプットから言語学習に与える影響を示す実験を行った。 これにより、ロボット工学、NLP、HCIの交差点を研究する研究者は、画像、テキスト、音声の複数のモーダルがどう相互作用するかをよりよく研究し、これらのモダリティの頂点の違いが結果に影響を及ぼすことを示すことができる。

関連論文リスト

• Divergences between Language Models and Human Brains [63.405788999891335]
  最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。 我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。 我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Multimodal Modeling For Spoken Language Identification [57.94119986116947]
  音声言語識別とは、ある発話中の音声言語を自動的に予測するタスクを指す。 本稿では,多モーダル音声言語識別手法であるMuSeLIを提案する。
  論文  参考訳（メタデータ） (2023-09-19T12:21:39Z)
• Human Inspired Progressive Alignment and Comparative Learning for Grounded Word Acquisition [6.47452771256903]
  我々は、人間の赤ちゃんが最初の言語をどのように習得するかからインスピレーションを得て、比較学習を通じて単語獲得のための計算プロセスを開発した。 認知的発見を動機として,様々な属性の類似点と相違点を計算モデルで比較できる小さなデータセットを作成した。 我々は、単語の獲得を情報フィルタリングのプロセスだけでなく、表現-シンボルマッピングにもとづいている。
  論文  参考訳（メタデータ） (2023-07-05T19:38:04Z)
• A Linguistic Investigation of Machine Learning based Contradiction Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
  本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。 目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
  論文  参考訳（メタデータ） (2022-10-19T10:06:03Z)
• Unravelling Interlanguage Facts via Explainable Machine Learning [10.71581852108984]
  我々は、説明可能な機械学習アルゴリズムによって訓練されたNLI分類器の内部に焦点をあてる。 我々は、この視点を用いて、NLIと相補的なタスクの両方に対処し、テキストがネイティブまたは非ネイティブ話者によって書かれたかどうかを推測する。 話者のL1を最も示唆する2つの課題を解くのに最も有効な言語特性について検討する。
  論文  参考訳（メタデータ） (2022-08-02T14:05:15Z)
• Neural Variational Learning for Grounded Language Acquisition [14.567067583556714]
  本稿では,言語が特定の定義された用語のカテゴリを含まない視覚的知覚に基礎を置いている学習システムを提案する。 この生成手法は,低リソース環境下での視覚的カテゴリを事前に指定することなく,言語接地において有望な結果を示すことを示す。
  論文  参考訳（メタデータ） (2021-07-20T20:55:02Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Experience Grounds Language [185.73483760454454]
  言語理解研究は、言語が記述する物理的世界と、それが促進する社会的相互作用とを関連づけることに失敗している。 テキストだけで訓練された後にタスクに取り組むための言語処理モデルの驚くべき効果にもかかわらず、成功した言語コミュニケーションは世界の共有経験に依存している。
  論文  参考訳（メタデータ） (2020-04-21T16:56:27Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。