論文の概要: Towards Human Cognition: Visual Context Guides Syntactic Priming in Fusion-Encoded Models

• arxiv url: http://arxiv.org/abs/2502.17669v1
• Date: Mon, 24 Feb 2025 21:33:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 18:41:09.157583
• Title: Towards Human Cognition: Visual Context Guides Syntactic Priming in Fusion-Encoded Models
• Title（参考訳）: 人間の認知に向けて:融合符号化モデルにおける構文プライミングの視覚的コンテキストガイド
• Authors: Bushi Xiao, Michael Bennie, Jayetri Bardhan, Daisy Zhe Wang,
• Abstract要約: PRISMATICは、最初のマルチモーダル構造プライミングデータセットである。 この研究は、構文情報のマルチモーダル言語モデルでの処理方法の評価と理解に関する新たな洞察を提供する。
• 参考スコア（独自算出の注目度）: 3.2327374287192314
• License:
• Abstract: We introduced PRISMATIC, the first multimodal structural priming dataset, and proposed a reference-free evaluation metric that assesses priming effects without predefined target sentences. Using this metric, we constructed and tested models with different multimodal encoding architectures (dual encoder and fusion encoder) to investigate their structural preservation capabilities. Our findings show that models with both encoding methods demonstrate comparable syntactic priming effects. However, only fusion-encoded models exhibit robust positive correlations between priming effects and visual similarity, suggesting a cognitive process more aligned with human psycholinguistic patterns. This work provides new insights into evaluating and understanding how syntactic information is processed in multimodal language models.
• Abstract（参考訳）: 我々は、最初のマルチモーダルな構造的プライミングデータセットであるPRISMATICを導入し、事前定義された目的文を使わずにプライミング効果を評価するリファレンスフリー評価指標を提案した。 本手法を用いて,異なるマルチモーダル符号化アーキテクチャ(デュアルエンコーダとフュージョンエンコーダ)を用いたモデルを構築し,その構造保存機能について検討した。 両手法を併用したモデルでは,構文的プライミング効果に匹敵する結果が得られた。 しかし、融合符号化されたモデルのみがプライミング効果と視覚的類似性の間に強い正の相関を示し、認知過程が人間の心理言語学的パターンとより整合していることが示唆されている。 この研究は、構文情報のマルチモーダル言語モデルでの処理方法の評価と理解に関する新たな洞察を提供する。

関連論文リスト

• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Collaborative decoding of critical tokens for boosting factuality of large language models [57.504894664689]
  微調整および整列モデルでは、命令追従と安全な生成の能力が改善されている。 世代ごとのサンプリングの一般的な実践は、幻覚の確率を増大させる。 我々は、クリティカルトークンの概念を通じて、事前訓練されたモデル内の高い事実性を活用するための協調的復号化フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-02-28T01:53:37Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
  本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。 我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-05-25T15:26:13Z)
• Open-vocabulary Semantic Segmentation with Frozen Vision-Language Models [39.479912987123214]
  自己指導型学習は、幅広い視覚的・言語的理解タスクを解く顕著な能力を示した。 Fusionerは軽量なトランスフォーマーベースの融合モジュールで、凍結した視覚表現と言語概念をペアリングする。 提案手法は,任意の視覚モデルと言語モデル,あるいはユニモーダルデータのコーパス上で事前学習したモデルに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-27T02:57:26Z)
• Model-Based Counterfactual Synthesizer for Interpretation [40.01787107375103]
  機械学習モデルを解釈するためのモデルベース対実合成器(MCS)フレームワークを提案する。 まずモデルに基づく逆ファクト過程を分析し、条件付き生成逆数ネット(CGAN)を用いてベースシンセサイザーを構築する。 それらの希少なクエリに対する反ファクト宇宙をよりよく近似するために,MCSフレームワークのトレーニングを行うために,傘サンプリング手法を新たに採用した。
  論文  参考訳（メタデータ） (2021-06-16T17:09:57Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• A Systematic Assessment of Syntactic Generalization in Neural Language Models [20.589737524626745]
  本稿では,ニューラルネットワークモデルの構文的知識を体系的に評価する。 モデルアーキテクチャによる構文一般化性能には大きな違いがある。 また, この結果から, パープレキシティと構文一般化性能の解離が明らかとなった。
  論文  参考訳（メタデータ） (2020-05-07T18:35:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。