論文の概要: Visual Prompting in LLMs for Enhancing Emotion Recognition

• arxiv url: http://arxiv.org/abs/2410.02244v1
• Date: Thu, 3 Oct 2024 06:33:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 07:46:05.663626
• Title: Visual Prompting in LLMs for Enhancing Emotion Recognition
• Title（参考訳）: LLMの視覚的プロンプトによる感情認識の強化
• Authors: Qixuan Zhang, Zhifeng Wang, Dylan Zhang, Wenjia Niu, Sabrina Caldwell, Tom Gedeon, Yang Liu, Zhenyue Qin,
• Abstract要約: Vision Large Language Models (VLLM) は、コンピュータビジョンと自然言語処理の交差点を変革している。 本研究では,境界ボックスや顔のランドマークなどの空間情報を用いて,ターゲットを正確にマークすることで,ゼロショット感情認識を向上するSet-of-Vision prompting (SoV)アプローチを提案する。
• 参考スコア（独自算出の注目度）: 10.608029430740364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Large Language Models (VLLMs) are transforming the intersection of computer vision and natural language processing. Nonetheless, the potential of using visual prompts for emotion recognition in these models remains largely unexplored and untapped. Traditional methods in VLLMs struggle with spatial localization and often discard valuable global context. To address this problem, we propose a Set-of-Vision prompting (SoV) approach that enhances zero-shot emotion recognition by using spatial information, such as bounding boxes and facial landmarks, to mark targets precisely. SoV improves accuracy in face count and emotion categorization while preserving the enriched image context. Through a battery of experimentation and analysis of recent commercial or open-source VLLMs, we evaluate the SoV model's ability to comprehend facial expressions in natural environments. Our findings demonstrate the effectiveness of integrating spatial visual prompts into VLLMs for improving emotion recognition performance.
• Abstract（参考訳）: Vision Large Language Models (VLLM) は、コンピュータビジョンと自然言語処理の交差点を変革している。 それでも、これらのモデルで感情認識に視覚的プロンプトを使うことの可能性はほとんど解明されておらず、未解決のままである。 VLLMの伝統的な手法は空間的ローカライゼーションに苦慮し、しばしば価値あるグローバルコンテキストを捨てる。 この問題に対処するために,境界ボックスや顔のランドマークなどの空間情報を用いて,ゼロショット感情認識の精度を高めるSet-of-Vision prompting (SoV)アプローチを提案する。 SoVは、濃厚な画像コンテキストを維持しながら、顔のカウントと感情の分類の精度を向上させる。 近年の商用またはオープンソースのVLLMの実験と分析を通じて、自然環境における表情の理解能力を評価する。 以上の結果から,空間的視覚刺激をVLLMに組み込むことにより,感情認識能力を向上させる効果が示された。

関連論文リスト

• Beyond Sight: Towards Cognitive Alignment in LVLM via Enriched Visual Knowledge [24.538839144639653]
  LVLM(Large Vision-Language Models)は、学習済みのビジョンと言語コンポーネントを個別に統合する。 これらのモデルはしばしば、視覚エンコーダ(VE)と大言語モデル(LLM)の「認知的不整合」の中核的な問題に遭遇する。
  論文  参考訳（メタデータ） (2024-11-25T18:33:14Z)
• FINECAPTION: Compositional Image Captioning Focusing on Wherever You Want at Any Granularity [68.15983300711355]
  Fine CapTIONは、任意のマスクを参照入力として認識し、異なるレベルの合成画像キャプションのための高解像度画像を処理する新しいVLMである。 本研究では,多粒領域合成画像キャプションのための新しいデータセットであるコンポジションCAPを紹介し,コンポジション属性対応地域画像キャプションの課題を紹介した。
  論文  参考訳（メタデータ） (2024-11-23T02:20:32Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  VLM(Vision-Language Models)は、様々な視覚タスクにまたがる顕著な能力を示す。 現在のVLMには基本的な認知能力がなく、コンテキストを考慮し、シーン内のオブジェクトをローカライズすることを学ぶ。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• Exploring Emerging Trends and Research Opportunities in Visual Place Recognition [28.76562316749074]
  視覚に基づく認識は、コンピュータビジョンとロボティクスのコミュニティにおける長年の課題である。 ほとんどのローカライズ実装では、視覚的位置認識が不可欠である。 研究者は最近、視覚言語モデルに注意を向けている。
  論文  参考訳（メタデータ） (2024-11-18T11:36:17Z)
• Locality Alignment Improves Vision-Language Models [55.275235524659905]
  近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。 局所性アライメント(Locality alignment)と呼ばれる,視覚障害者のための新しい学習段階を提案する。 局所性に整合したバックボーンは、様々なベンチマークでパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-10-14T21:01:01Z)
• Towards Interpreting Visual Information Processing in Vision-Language Models [24.51408101801313]
  VLM(Vision-Language Models)は、テキストや画像の処理と理解のための強力なツールである。 著名なVLMであるLLaVAの言語モデルコンポーネントにおける視覚トークンの処理について検討する。
  論文  参考訳（メタデータ） (2024-10-09T17:55:02Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• CoVLM: Composing Visual Entities and Relationships in Large Language Models Via Communicative Decoding [66.52659447360104]
  CoVLM は LLM を誘導して、テキスト間の視覚的実体と関係を明示的に構成することができる。 テキスト間の視覚的実体と関係を明示的に構成するために,LLM をガイドする CoVLM を提案する。
  論文  参考訳（メタデータ） (2023-11-06T18:59:44Z)
• GeoVLN: Learning Geometry-Enhanced Visual Representation with Slot Attention for Vision-and-Language Navigation [52.65506307440127]
  我々は,ロバストなビジュアル・アンド・ランゲージナビゲーションのためのスロットアテンションに基づく幾何学的視覚表現を学習するGeoVLNを提案する。 我々はV&L BERTを用いて言語情報と視覚情報の両方を組み込んだクロスモーダル表現を学習する。
  論文  参考訳（メタデータ） (2023-05-26T17:15:22Z)
• Leveraging Semantic Scene Characteristics and Multi-Stream Convolutional Architectures in a Contextual Approach for Video-Based Visual Emotion Recognition in the Wild [31.40575057347465]
  私たちは、野生のビデオベースの視覚感情認識のタスクに取り組みます。 身体および顔の特徴の抽出のみに依存する標準的な方法論は、しばしば正確な感情予測に欠ける。 我々は、シーンの特徴や属性の形で視覚的コンテキストを活用することで、この問題を軽減することを目指している。
  論文  参考訳（メタデータ） (2021-05-16T17:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。