論文の概要: Multimodality and Attention Increase Alignment in Natural Language
Prediction Between Humans and Computational Models
- arxiv url: http://arxiv.org/abs/2308.06035v3
- Date: Tue, 2 Jan 2024 15:33:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 19:48:28.165692
- Title: Multimodality and Attention Increase Alignment in Natural Language
Prediction Between Humans and Computational Models
- Title（参考訳）: 人間と計算モデル間の自然言語予測におけるマルチモーダリティと注意力のアライメント
- Authors: Viktor Kewenig, Andrew Lampinen, Samuel A. Nastase, Christopher
Edwards, Quitterie Lacome DEstalenx, Akilles Rechardt, Jeremy I Skipper and
Gabriella Vigliocco
- Abstract要約: 人間は、次の単語の処理を容易にするために、視覚的手がかりのような健全なマルチモーダル機能を使用することが知られている。
マルチモーダル計算モデルは、視覚的注意機構を使用して視覚的および言語的データを統合して、次の単語の確率を割り当てることができる。
本研究では,人間からの予測可能性の推定値が,マルチモーダルモデルと非モーダルモデルとのスコアとより密に一致していることを示す。
- 参考スコア（独自算出の注目度）: 0.8139163264824348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The potential of multimodal generative artificial intelligence (mAI) to
replicate human grounded language understanding, including the pragmatic,
context-rich aspects of communication, remains to be clarified. Humans are
known to use salient multimodal features, such as visual cues, to facilitate
the processing of upcoming words. Correspondingly, multimodal computational
models can integrate visual and linguistic data using a visual attention
mechanism to assign next-word probabilities. To test whether these processes
align, we tasked both human participants (N = 200) as well as several
state-of-the-art computational models with evaluating the predictability of
forthcoming words after viewing short audio-only or audio-visual clips with
speech. During the task, the model's attention weights were recorded and human
attention was indexed via eye tracking. Results show that predictability
estimates from humans aligned more closely with scores generated from
multimodal models vs. their unimodal counterparts. Furthermore, including an
attention mechanism doubled alignment with human judgments when visual and
linguistic context facilitated predictions. In these cases, the model's
attention patches and human eye tracking significantly overlapped. Our results
indicate that improved modeling of naturalistic language processing in mAI does
not merely depend on training diet but can be driven by multimodality in
combination with attention-based architectures. Humans and computational models
alike can leverage the predictive constraints of multimodal information by
attending to relevant features in the input.
- Abstract（参考訳）: 言語理解を再現するマルチモーダル生成人工知能(mAI)の可能性は、実用的で文脈に富んだコミュニケーションの側面を含む、明らかになっていない。
人間は、視覚的な手がかりのような高度のマルチモーダル特徴を使用して、今後の単語の処理を容易にすることが知られている。
それに応じて、マルチモーダル計算モデルは、視覚的注意機構を用いて視覚的および言語的データを統合し、次の単語の確率を割り当てることができる。
これらのプロセスが一致しているかどうかを調べるため,人間の参加者(N = 200)と,音声のみの短いビデオクリップや音声映像クリップを音声で見た後,次の単語の予測可能性を評価する最先端の計算モデルの両方を課題とした。
作業中、モデルの注意重みは記録され、人間の注意は視線追跡によってインデックス化された。
その結果,ヒトの予測可能性の推定値は,マルチモーダルモデルとユニモーダルモデルを比較した結果とより密接に一致した。
さらに、注意機構を含むことで、視覚的および言語的文脈が予測を促進するとき、人間の判断と調和する。
これらの場合、モデルの注意パッチと人間の視線追跡は著しく重複した。
以上の結果から,mAIにおける自然言語処理のモデル化は,学習ダイエットにのみ依存するだけでなく,注意に基づくアーキテクチャと組み合わせることで,マルチモーダリティが実現可能であることが示唆された。
人間や計算モデルも同様に、入力の関連する特徴に従えば、マルチモーダル情報の予測制約を活用できる。
関連論文リスト
- Visual Contexts Clarify Ambiguous Expressions: A Benchmark Dataset [0.39462888523270856]
VAGUEは3.9Kの間接的人間発話と対応するシーンを組み合わせたマルチモーダル・ベンチマークである。
我々の研究は、モデルが間接的なコミュニケーションを理解する能力について深く掘り下げ、より洗練され人間的な対話が可能なモデルの開発に貢献することを目的としています。
論文 参考訳（メタデータ） (2024-11-21T14:01:42Z) - Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models [37.44286562901589]
本研究では,空間推論の多様な側面をカバーする新しいベンチマークであるSpatialEvalを提案する。
我々は、競合する言語と視覚言語モデルを総合的に評価する。
文献で見過ごされてきたいくつかの反直感的な洞察が明らかとなった。
論文 参考訳（メタデータ） (2024-06-21T03:53:37Z) - Are Human Conversations Special? A Large Language Model Perspective [8.623471682333964]
本研究では、人間(人間)の自然な会話を理解するために、大規模言語モデル(LLM)の注意機構の変化を分析する。
その結果,言語モデルはドメイン固有の注意行動を示すが,人間の会話を専門化する能力には大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-08T04:44:25Z) - MMToM-QA: Multimodal Theory of Mind Question Answering [80.87550820953236]
心の理論 (ToM) は人間レベルの社会知能を持つ機械を開発する上で不可欠な要素である。
最近の機械学習モデル、特に大きな言語モデルは、ToM理解のいくつかの側面を示しているようだ。
一方、ヒューマンToMはビデオやテキストの理解以上のものです。
人は、利用可能なデータから抽出された概念的表現に基づいて、他人の心について柔軟に推論することができる。
論文 参考訳（メタデータ） (2024-01-16T18:59:24Z) - Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳（メタデータ） (2023-10-20T03:33:36Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-15T08:33:08Z) - TextMI: Textualize Multimodal Information for Integrating Non-verbal
Cues in Pre-trained Language Models [5.668457303716451]
マルチモーダルな行動分析タスクのための汎用的,競争的なベースラインとして,TextMIを提案する。
我々のアプローチは、モデルの複雑さを著しく減らし、モデルの判断に解釈可能性を追加し、様々なタスクに適用できます。
論文 参考訳（メタデータ） (2023-03-27T17:54:32Z) - PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。
我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。
562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
論文 参考訳（メタデータ） (2023-03-06T18:58:06Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳（メタデータ） (2022-03-03T20:52:47Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳（メタデータ） (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。