論文の概要: Visually Grounded Language Learning: a review of language games,
datasets, tasks, and models
- arxiv url: http://arxiv.org/abs/2312.02431v1
- Date: Tue, 5 Dec 2023 02:17:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 17:00:30.512475
- Title: Visually Grounded Language Learning: a review of language games,
datasets, tasks, and models
- Title（参考訳）: 視覚的接地型言語学習--言語ゲーム、データセット、タスク、およびモデルのレビュー
- Authors: Alessandro Suglia and Ioannis Konstas and Oliver Lemon
- Abstract要約: 多くのVision+Language (V+L)タスクは、視覚的モダリティでシンボルをグラウンドできるモデルを作成することを目的として定義されている。
本稿では,V+L分野において提案されるいくつかの課題とモデルについて,系統的な文献レビューを行う。
- 参考スコア（独自算出の注目度）: 60.2604624857992
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, several machine learning models have been proposed. They are
trained with a language modelling objective on large-scale text-only data. With
such pretraining, they can achieve impressive results on many Natural Language
Understanding and Generation tasks. However, many facets of meaning cannot be
learned by ``listening to the radio" only. In the literature, many
Vision+Language (V+L) tasks have been defined with the aim of creating models
that can ground symbols in the visual modality. In this work, we provide a
systematic literature review of several tasks and models proposed in the V+L
field. We rely on Wittgenstein's idea of `language games' to categorise such
tasks into 3 different families: 1) discriminative games, 2) generative games,
and 3) interactive games. Our analysis of the literature provides evidence that
future work should be focusing on interactive games where communication in
Natural Language is important to resolve ambiguities about object referents and
action plans and that physical embodiment is essential to understand the
semantics of situations and events. Overall, these represent key requirements
for developing grounded meanings in neural models.
- Abstract（参考訳）: 近年,機械学習モデルがいくつか提案されている。
それらは、大規模テキストのみのデータに基づいて言語モデリングの目的を訓練されている。
このような事前学習によって、多くの自然言語理解と生成タスクで印象的な結果が得られる。
しかし、多くの意味の面は『ラジオを聴く』だけでは学べない。
文献では視覚+言語(v+l)の多くのタスクが、視覚モダリティのシンボルを基礎付けるモデルの作成を目的として定義されている。
本稿では,V+L分野におけるいくつかの課題とモデルについて,系統的な文献レビューを行う。
我々はヴィトゲンシュタインの「言語ゲーム」という考え方に依拠して、これらのタスクを3つの異なるファミリーに分類する。
1)判別ゲーム,
2)生成ゲーム、及び
3)インタラクティブゲーム。
本稿の分析は,自然言語におけるコミュニケーションがオブジェクト参照やアクションプランのあいまいさを解決する上で重要である対話型ゲームに,今後の作業が焦点を当てるべきであることを示す。
全体として、これらは神経モデルにおける基底的意味を発達させるための重要な要件である。
関連論文リスト
- Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [53.7168869241458]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳（メタデータ） (2023-10-20T03:33:36Z) - VLIS: Unimodal Language Models Guide Multimodal Language Generation [23.094728230459125]
VLIS(Importance Smpling weights)として視覚言語モデルを導入する。
視覚言語モデルの視覚的条件付け能力と、追加のトレーニングを伴わずに、アンモダルテキストのみの言語モデルの言語理解を組み合わせる。
VLISは、常識理解や複雑なテキスト生成など、様々なタスクにおける視覚言語モデルを改善する。
論文 参考訳（メタデータ） (2023-10-15T07:58:52Z) - Localization vs. Semantics: Visual Representations in Unimodal and
Multimodal Models [57.08925810659545]
既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。
我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。
我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
論文 参考訳（メタデータ） (2022-12-01T05:00:18Z) - On Advances in Text Generation from Images Beyond Captioning: A Case
Study in Self-Rationalization [89.94078728495423]
近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。
画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
論文 参考訳（メタデータ） (2022-05-24T00:52:40Z) - Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。
分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
論文 参考訳（メタデータ） (2021-12-16T05:36:08Z) - Language Grounding with 3D Objects [60.67796160959387]
本稿では,3Dオブジェクトに関する視覚的・非視覚的言語を対象とする新たな推論タスクを提案する。
オブジェクトを識別するためのCLIPベースのモデルをいくつか紹介する。
言語接地モデルにビュー推定を追加することで、SNAREとロボットプラットフォーム上で言語で参照されるオブジェクトを識別する場合の精度が向上することがわかった。
論文 参考訳（メタデータ） (2021-07-26T23:35:58Z) - Multi-Sense Language Modelling [19.396806939258806]
我々は,次の単語を予測できるだけでなく,文脈における意味を予測できる言語モデルを提案する。
この高い予測粒度は、補助的な記述のようなエンドタスクに有用である。
感覚予測には,定義や単語感覚の例を符号化したグラフ注意ネットワークを利用する。
論文 参考訳（メタデータ） (2020-12-10T16:06:05Z) - A Visuospatial Dataset for Naturalistic Verb Learning [18.654373173232205]
基礎言語モデルのトレーニングと評価のための新しいデータセットを導入する。
我々のデータはバーチャルリアリティー環境で収集され、言語データの品質をエミュレートするように設計されている。
収集したデータを用いて、動詞学習のための複数の分布意味論モデルを比較する。
論文 参考訳（メタデータ） (2020-10-28T20:47:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。