論文の概要: Vision Language Models as Values Detectors

• arxiv url: http://arxiv.org/abs/2501.03957v1
• Date: Tue, 07 Jan 2025 17:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:46:46.558373
• Title: Vision Language Models as Values Detectors
• Title（参考訳）: 値検出器としての視覚言語モデル
• Authors: Giulio Antonio Abbo, Tony Belpaeme,
• Abstract要約: 本稿では,最先端の大規模言語モデルと人間のアノテータのアライメントについて検討する。 我々は、様々な国内シナリオを描いた12枚の画像を作成し、各画像のキー要素を特定するために14個のアノテーションを登録した。 GPT-4oおよび4つのLLaVA変異体を含む5種類のLLMの出力と比較した。
• 参考スコア（独自算出の注目度）: 0.034530027457861996
• License:
• Abstract: Large Language Models integrating textual and visual inputs have introduced new possibilities for interpreting complex data. Despite their remarkable ability to generate coherent and contextually relevant text based on visual stimuli, the alignment of these models with human perception in identifying relevant elements in images requires further exploration. This paper investigates the alignment between state-of-the-art LLMs and human annotators in detecting elements of relevance within home environment scenarios. We created a set of twelve images depicting various domestic scenarios and enlisted fourteen annotators to identify the key element in each image. We then compared these human responses with outputs from five different LLMs, including GPT-4o and four LLaVA variants. Our findings reveal a varied degree of alignment, with LLaVA 34B showing the highest performance but still scoring low. However, an analysis of the results highlights the models' potential to detect value-laden elements in images, suggesting that with improved training and refined prompts, LLMs could enhance applications in social robotics, assistive technologies, and human-computer interaction by providing deeper insights and more contextually relevant responses.
• Abstract（参考訳）: テキスト入力と視覚入力を統合した大規模言語モデルでは、複雑なデータを解釈する新たな可能性が導入されている。 視覚刺激に基づいてコヒーレントで文脈的に関連のあるテキストを生成するという顕著な能力にもかかわらず、画像中の関連要素を識別する上で、これらのモデルと人間の知覚とのアライメントは、さらなる探索を必要とする。 本稿では、家庭環境シナリオにおける関連要素の検出における、最先端のLDMと人間のアノテータのアライメントについて検討する。 我々は、様々な国内シナリオを描いた12枚の画像を作成し、各画像のキー要素を特定するために14個のアノテーションを登録した。 GPT-4oおよび4つのLLaVA変異体を含む5種類のLLMの出力と比較した。 LLaVA 34Bは高い成績を示したが,まだ低得点であった。 しかし、この結果の分析は、画像中の価値を織り込んだ要素を検出するモデルの可能性を強調し、トレーニングの改善と改良されたプロンプトにより、LLMはより深い洞察とより文脈的に関連する応答を提供することで、社会ロボティクス、補助技術、人間とコンピュータの相互作用の応用を強化する可能性があることを示唆している。

関連論文リスト

• VISTA: A Visual and Textual Attention Dataset for Interpreting Multimodal Models [2.0718016474717196]
  統合ビジョンと言語モデル(VLM)は、機械学習研究コミュニティ内のブラックボックスと見なされることが多い。 本稿では、画像領域と対応するテキストセグメント間の特定の関連をマッピングする画像テキスト整列人間の視覚的注意データセットを提案する。 次に、VLモデルによって生成された内部のヒートマップとこのデータセットを比較し、モデルの決定プロセスを分析し、よりよく理解できるようにします。
  論文  参考訳（メタデータ） (2024-10-06T20:11:53Z)
• Benchmarking Multi-Image Understanding in Vision and Language Models: Perception, Knowledge, Reasoning, and Multi-Hop Reasoning [15.296263261737026]
  マルチイメージMIRBベンチマークを導入し、複数の画像を比較し、分析し、推論する視覚言語モデルの能力を評価する。 私たちのベンチマークには、知覚、視覚世界知識、推論、マルチホップ推論の4つのカテゴリが含まれています。 オープンソースVLMはシングルイメージタスクにおいてGPT-4Vに接近することを示したが、マルチイメージ推論タスクでは大きなギャップが残っている。
  論文  参考訳（メタデータ） (2024-06-18T16:02:18Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。 具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。 MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models [92.60282074937305]
  テキストリッチな画像に対して文脈に敏感な推論を必要とする人為的な命令を特徴とする新しいデータセットであるConTextualを紹介した。 そこで本研究では,14の基盤モデルの性能評価実験を行い,人為的な性能基準を確立する。 GPT-4Vとヒトのパフォーマンスの30.8%の有意な性能差を観察した。
  論文  参考訳（メタデータ） (2024-01-24T09:07:11Z)
• A Vision Check-up for Language Models [61.852026871772914]
  テキストのモデルを用いて、予備的な視覚表現学習システムをどのように訓練するかを示す。 自己教師付き視覚表現学習の実験は、自然画像のセマンティックアセスメントを行うことができる視覚モデルを訓練する可能性を強調している。
  論文  参考訳（メタデータ） (2024-01-03T18:09:33Z)
• Lost in Translation: When GPT-4V(ision) Can't See Eye to Eye with Text. A Vision-Language-Consistency Analysis of VLLMs and Beyond [7.760124498553333]
  視覚言語モデルが連続的・独立的に視覚と言語タスクを実行するかを検討する。 マルチモーダル設定において、異なるモーダル間の能力格差を定量化する体系的枠組みを導入する。 本稿では,視覚関連課題に挑戦するタスクのパフォーマンスを効果的に向上する手法である"Vision Description Prompting"を紹介する。
  論文  参考訳（メタデータ） (2023-10-19T06:45:11Z)
• Multimodal Deep Learning for Scientific Imaging Interpretation [0.0]
  本研究では,SEM(Scanning Electron Microscopy)画像と人間のような相互作用を言語的にエミュレートし,評価するための新しい手法を提案する。 本稿では,ピアレビュー記事から収集したテキストデータとビジュアルデータの両方から洞察を抽出する。 我々のモデル (GlassLLaVA) は, 正確な解釈, 重要な特徴の同定, 未確認のSEM画像の欠陥の検出に優れる。
  論文  参考訳（メタデータ） (2023-09-21T20:09:22Z)
• TouchStone: Evaluating Vision-Language Models by Language Models [91.69776377214814]
  本稿では,LVLMの様々な能力を総合的に評価するために,強大な言語モデルを用いた評価手法を提案する。 オープンワールドイメージと質問からなる包括的ビジュアル対話データセットTouchStoneを構築し,5つの主要な機能カテゴリと27のサブタスクをカバーした。 GPT-4のような強力なLVLMは、テキスト機能のみを活用することで、対話品質を効果的に評価できることを実証する。
  論文  参考訳（メタデータ） (2023-08-31T17:52:04Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。