論文の概要: Contrastive Language-Image Learning with Augmented Textual Prompts for 3D/4D FER Using Vision-Language Model

• arxiv url: http://arxiv.org/abs/2504.19739v1
• Date: Mon, 28 Apr 2025 12:36:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.432611
• Title: Contrastive Language-Image Learning with Augmented Textual Prompts for 3D/4D FER Using Vision-Language Model
• Title（参考訳）: 視覚言語モデルを用いた3D/4D FERのための拡張テキストプロンプトを用いたコントラスト言語画像学習
• Authors: Muzammil Behzad, Guoying Zhao,
• Abstract要約: AffectVLMは3D/4Dデータから顔の感情を、意味的に豊かで視覚的に包括的に理解するために、多視点を統合した視覚言語モデルである。 本稿では,モデル収束を最適な特徴表現へ加速する,新しい勾配に優しい損失関数と組み合わせた共同表現学習フレームワークを提案する。 また、リアルタイム対話型推論のためのStreamlitアプリを開発し、分散学習のためのモデルを可能にします。
• 参考スコア（独自算出の注目度）: 19.091907959433073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce AffectVLM, a vision-language model designed to integrate multiviews for a semantically rich and visually comprehensive understanding of facial emotions from 3D/4D data. To effectively capture visual features, we propose a joint representation learning framework paired with a novel gradient-friendly loss function that accelerates model convergence towards optimal feature representation. Additionally, we introduce augmented textual prompts to enhance the model's linguistic capabilities and employ mixed view augmentation to expand the visual dataset. We also develop a Streamlit app for a real-time interactive inference and enable the model for distributed learning. Extensive experiments validate the superior performance of AffectVLM across multiple benchmarks.
• Abstract（参考訳）: 本稿では,3D/4Dデータから顔の感情を多視点で理解するための視覚言語モデルであるAffectVLMを紹介する。 視覚的特徴を効果的に捉えるために,最適な特徴表現に向けてモデル収束を加速する,新しい勾配に親しみやすい損失関数と組み合わせた共同表現学習フレームワークを提案する。 さらに、モデルの言語能力を高めるための拡張テキストプロンプトを導入し、ビジュアルデータセットを拡張するために混合ビュー拡張を利用する。 また、リアルタイム対話型推論のためのStreamlitアプリを開発し、分散学習のためのモデルを可能にします。 大規模な実験により、複数のベンチマークでAffectVLMの優れた性能が検証された。

関連論文リスト

• Weaving Context Across Images: Improving Vision-Language Models through Focus-Centric Visual Chains [31.828341309787042]
  視覚言語モデル(VLM)は、単一画像タスクにおいて顕著な成功を収める。 現実のシナリオでは複雑なマルチイメージの入力が伴うことが多く、パフォーマンスが著しく低下する。 マルチイメージシナリオにおけるVLMの知覚、理解、推論能力を高める新しいパラダイムであるFocus-Centric Visual Chainを提案する。
  論文  参考訳（メタデータ） (2025-04-28T19:02:18Z)
• Multi-Head Attention Driven Dynamic Visual-Semantic Embedding for Enhanced Image-Text Matching [0.8611782340880084]
  本研究は,MH-CVSE (Multi-Headed Consensus-Aware Visual-Semantic Embedding) を用いた視覚的セマンティック埋め込みモデルを提案する。 本モデルでは,コンセンサスを意識した視覚的セマンティック埋め込みモデル(CVSE)に基づくマルチヘッド自己認識機構を導入し,複数のサブ空間の情報を並列に取得する。 損失関数設計においては、MH-CVSEモデルは、損失値自体に応じて動的に重量を調整するために動的重量調整戦略を採用する。
  論文  参考訳（メタデータ） (2024-12-26T11:46:22Z)
• 3D Vision-Language Gaussian Splatting [29.047044145499036]
  マルチモーダルな3Dシーン理解は、ロボット工学、自律運転、バーチャル/拡張現実において重要な応用である。 本稿では,視覚的・意味的な相違点を適切に扱えるソリューションを提案する。 また、既存のビュー間のセマンティック一貫性を改善するために、カメラビューブレンディング技術を採用している。
  論文  参考訳（メタデータ） (2024-10-10T03:28:29Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• APoLLo: Unified Adapter and Prompt Learning for Vision Language Models [58.9772868980283]
  本稿では,視覚言語モデルに対する適応学習とプロンプト学習を組み合わせた統合マルチモーダルアプローチであるAPoLLoを提案する。 APoLLoは10種類の画像認識データセットに対して、MaPLe(SOTA)よりも6.03%向上している。
  論文  参考訳（メタデータ） (2023-12-04T01:42:09Z)
• ViLTA: Enhancing Vision-Language Pre-training through Textual Augmentation [35.05755930636518]
  画像とテキストのペア間の微細な表現をより容易に学習するための2つのコンポーネントからなるViLTAを提案する。 Masked Language Modeling (MLM) では,モデルの堅牢性を高めるために,ソフトラベルを生成するクロス蒸留法を提案する。 画像テキストマッチング(ITM)では、現在の言語エンコーダを利用して、言語入力のコンテキストに基づいてハードネガティブを合成する。
  論文  参考訳（メタデータ） (2023-08-31T12:46:36Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Visually-Situated Natural Language Understanding with Contrastive Reading Model and Frozen Large Language Models [24.456117679941816]
  Contrastive Reading Model (Cream)は、Large Language Models (LLM)の言語画像理解能力を高めるために設計された、新しいニューラルネットワークである。 我々のアプローチは、視覚と言語理解のギャップを埋め、より洗練されたドキュメントインテリジェンスアシスタントの開発の道を開く。
  論文  参考訳（メタデータ） (2023-05-24T11:59:13Z)
• UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes [91.24112204588353]
  我々は、幅広いコンピュータビジョンタスクをモデル化できる統一的なアプローチであるUViMを紹介する。 以前のモデルとは対照的に、UViMは全てのタスクに対して同じ機能を持つ。 多様な3つの視覚課題に対するUViMの有効性を実証する。
  論文  参考訳（メタデータ） (2022-05-20T17:47:59Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。