論文の概要: Seeing the advantage: visually grounding word embeddings to better capture human semantic knowledge

• arxiv url: http://arxiv.org/abs/2202.10292v1
• Date: Mon, 21 Feb 2022 15:13:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-22 15:15:04.614930
• Title: Seeing the advantage: visually grounding word embeddings to better capture human semantic knowledge
• Title（参考訳）: 人間の意味的知識をよりよく捉えるために、視覚的に単語埋め込みを接地する
• Authors: Danny Merkx, Stefan L. Frank and Mirjam Ernestus
• Abstract要約: 分布意味モデルは、多くの自然言語処理タスクで有用な単語レベルの意味をキャプチャする。 我々は、英語のテキストと画像を組み合わせて視覚的に接地した単語埋め込みを作成し、それらを人気のあるテキストベース手法と比較する。 我々の分析では、視覚的に接地された埋め込み類似性は、純粋にテキストベースの埋め込みよりも人間の反応時間を予測することが示されている。
• 参考スコア（独自算出の注目度）: 8.208534667678792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributional semantic models capture word-level meaning that is useful in many natural language processing tasks and have even been shown to capture cognitive aspects of word meaning. The majority of these models are purely text based, even though the human sensory experience is much richer. In this paper we create visually grounded word embeddings by combining English text and images and compare them to popular text-based methods, to see if visual information allows our model to better capture cognitive aspects of word meaning. Our analysis shows that visually grounded embedding similarities are more predictive of the human reaction times in a large priming experiment than the purely text-based embeddings. The visually grounded embeddings also correlate well with human word similarity ratings. Importantly, in both experiments we show that the grounded embeddings account for a unique portion of explained variance, even when we include text-based embeddings trained on huge corpora. This shows that visual grounding allows our model to capture information that cannot be extracted using text as the only source of information.
• Abstract（参考訳）: 分布的意味モデルは、多くの自然言語処理タスクで有用な単語レベルの意味を捉え、単語の意味の認知的側面を捉えている。 これらのモデルのほとんどは、人間の感覚体験がずっと豊かであるにもかかわらず、純粋にテキストベースである。 本稿では、英語のテキストと画像を組み合わせて視覚的に接地した単語埋め込みを作成し、それらを一般的なテキストベースの手法と比較し、視覚情報によって単語の意味の認知的側面をよりよく把握できるかどうかを確かめる。 解析の結果,視覚的な接地埋め込みの類似性は,純粋にテキストベースの埋め込みよりも大きなプライミング実験において人間の反応時間を予測できることがわかった。 視覚的な接地埋め込みは、人間の単語の類似度評価とよく相関する。 重要なことは、両方の実験において、巨大なコーパスで訓練されたテキストベースの埋め込みを含む場合でも、接地埋め込みが説明された分散のユニークな部分を占めることを示している。 これは,視覚的な接地によって,テキストで抽出できない情報を唯一の情報源として捉えることが可能であることを示している。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
  人間は簡潔で直感的な説明を使って予測を説明することができる。 特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T00:24:42Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Brief Introduction to Contrastive Learning Pretext Tasks for Visual Representation [0.0]
  教師なし学習手法のサブセットであるコントラスト学習を導入する。 対照的な学習の目的は、互いに近くにある同じサンプルから強化されたサンプルを埋め込んで、そうでないサンプルを押し下げることである。 我々は、最近公開されたコントラスト学習の戦略をいくつか提示し、視覚表現のためのプレテキストタスクに焦点を当てている。
  論文  参考訳（メタデータ） (2022-10-06T18:54:10Z)
• Language with Vision: a Study on Grounded Word and Sentence Embeddings [6.231247903840833]
  視覚における接地言語は、認知的に妥当な単語と文表現の構築を目指す研究の活発な分野である。 本研究では,事前学習した単語埋め込みのための基礎計算モデルを提案する。 本モデルは,テキスト埋め込みを視覚情報と整合させることにより,言語と視覚の相互作用を効果的にバランスさせる。
  論文  参考訳（メタデータ） (2022-06-17T15:04:05Z)
• Words are all you need? Capturing human sensory similarity with textual descriptors [12.191617984664683]
  人間の類似性判断と言語との関係について検討する。 本稿では,効率的かつ汎用的なタグマイニングのための新しい適応パイプラインを提案する。 テキスト記述子に基づく予測パイプラインは優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-06-08T18:09:19Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• Efficient Multi-Modal Embeddings from Structured Data [0.0]
  マルチモーダルワードセマンティクスは、知覚入力による埋め込みを強化することを目的としている。 ビジュアルグラウンドは言語アプリケーションにも貢献できる。 新しい埋め込みは、テキストベースの埋め込みのための補完的な情報を伝達する。
  論文  参考訳（メタデータ） (2021-10-06T08:42:09Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。