論文の概要: Can Large Language Models Grasp Concepts in Visual Content? A Case Study on YouTube Shorts about Depression

• arxiv url: http://arxiv.org/abs/2503.05109v1
• Date: Fri, 07 Mar 2025 03:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:22:43.222190
• Title: Can Large Language Models Grasp Concepts in Visual Content? A Case Study on YouTube Shorts about Depression
• Title（参考訳）: 大規模言語モデルによる視覚的概念の把握 : 抑うつに関するYouTubeショートを事例として
• Authors: Jiaying "Lizzy" Liu, Yiheng Su, Praneel Seth,
• Abstract要約: 我々はAIの解釈を抽象概念の人間の理解と比較する。 我々はLLaVA-1.6 Mistral 7Bを用いて、ビデオによる自己開示に関する4つの抽象概念を解釈する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language models (LLMs) are increasingly used to assist computational social science research. While prior efforts have focused on text, the potential of leveraging multimodal LLMs (MLLMs) for online video studies remains underexplored. We conduct one of the first case studies on MLLM-assisted video content analysis, comparing AI's interpretations to human understanding of abstract concepts. We leverage LLaVA-1.6 Mistral 7B to interpret four abstract concepts regarding video-mediated self-disclosure, analyzing 725 keyframes from 142 depression-related YouTube short videos. We perform a qualitative analysis of MLLM's self-generated explanations and found that the degree of operationalization can influence MLLM's interpretations. Interestingly, greater detail does not necessarily increase human-AI alignment. We also identify other factors affecting AI alignment with human understanding, such as concept complexity and versatility of video genres. Our exploratory study highlights the need to customize prompts for specific concepts and calls for researchers to incorporate more human-centered evaluations when working with AI systems in a multimodal context.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、計算社会科学研究を支援するためにますます使われている。 これまではテキストに重点を置いてきたが、オンラインビデオ研究にMLLM(Multimodal LLMs)を活用する可能性はまだ未定である。 MLLMによる映像コンテンツ分析における最初の事例研究の1つとして,AIの解釈と抽象概念の人間的理解を比較した。 我々はLLaVA-1.6 Mistral 7Bを用いて、ビデオによる自己開示に関する4つの抽象概念を解釈し、142のうつ病関連YouTubeショートビデオから725のキーフレームを分析した。 MLLMの自己生成説明の質的分析を行い,操作の程度がMLLMの解釈に影響を及ぼすことを示した。 興味深いことに、より詳細なことは必ずしも人間とAIのアライメントを増加させるとは限らない。 また、ビデオジャンルの概念の複雑さや汎用性など、人間の理解とAIの整合性に影響を与える他の要因も特定する。 我々の探索的研究は、特定の概念のプロンプトをカスタマイズする必要性を強調し、研究者がマルチモーダルなコンテキストでAIシステムを扱う際に、より人間中心の評価を取り入れるよう求めている。

関連論文リスト

• HumanVBench: Exploring Human-Centric Video Understanding Capabilities of MLLMs with Synthetic Benchmark Data [55.739633494946204]
  我々は,ビデオMLLMの評価において,ギャップを埋めるために巧みに構築された,革新的なベンチマークであるHumanVBenchを紹介する。 HumanVBenchは、17の慎重に設計されたタスクで構成されており、内的感情と外的表現、静的、動的、基本的、複雑にまたがる、シングルモーダルとクロスモーダルという2つの主要な側面を探索する。
  論文  参考訳（メタデータ） (2024-12-23T13:45:56Z)
• Understanding Multimodal LLMs: the Mechanistic Interpretability of Llava in Visual Question Answering [19.472889262384818]
  我々は,ユーザと研究者が最終予測のための重要な視覚的位置を特定するのに役立つ解釈可能性ツールを開発した。 提案手法は,既存の解釈可能性アプローチと比較して,より高速かつ効果的な結果を示す。
  論文  参考訳（メタデータ） (2024-11-17T03:32:50Z)
• VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI [17.763461523794806]
  VidEgoThinkは、Embodied AIでエゴセントリックなビデオ理解能力を評価するためのベンチマークである。 我々は,ビデオ質問応答,階層計画,視覚的グラウンド,報酬モデリングの4つの重要な相互関連タスクを設計する。 APIベースのMLLM,オープンソースイメージベースのMLLM,オープンソースビデオベースのMLLMの3種類のモデルで広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-15T14:08:53Z)
• A Perspective on Large Language Models, Intelligent Machines, and Knowledge Acquisition [0.6138671548064355]
  大言語モデル(LLM)は「知識」を生成できることで知られている。 しかし、抽象概念と推論を理解するためのLLMと人間の能力の間には大きなギャップがある。 我々はこれらの問題を、人間の知識獲得とチューリングテストの哲学的な文脈で論じる。
  論文  参考訳（メタデータ） (2024-08-13T03:25:49Z)
• Harnessing LLMs for Automated Video Content Analysis: An Exploratory Workflow of Short Videos on Depression [8.640838598568605]
  我々は,Large Language Models (LLMs) を用いたマルチモーダルコンテンツ分析の新しいワークフローに従って,ケーススタディを実施している。 LLMのビデオアノテーション機能をテストするために,うつ病に関する25の短いビデオから抽出した203を解析した。
  論文  参考訳（メタデータ） (2024-06-27T21:03:56Z)
• Visualization Literacy of Multimodal Large Language Models: A Comparative Study [12.367399155606162]
  MLLM(Multimodal large language model)は、MLLM(Multimodal large language model)とLLM(LLM)の固有の能力を組み合わせて、マルチモーダルコンテキストを推論する。 ビジュアライゼーションにおける最近の多くの研究は、可視化結果を理解し、解釈し、自然言語のユーザに対して視覚化の内容を説明するMLLMの能力を実証している。 本研究では,可視化リテラシーの概念を利用してMLLMを評価することにより,そのギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-06-24T17:52:16Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• Towards Concept-Aware Large Language Models [56.48016300758356]
  概念は、学習、推論、コミュニケーションなど、様々な人間の認知機能において重要な役割を果たす。 概念を形作り、推論する能力を持つ機械を授けることは、ほとんどない。 本研究では,現代における大規模言語モデル(LLM)が,人間の概念とその構造をどのように捉えているかを分析する。
  論文  参考訳（メタデータ） (2023-11-03T12:19:22Z)
• Exploring Human-Like Translation Strategy with Large Language Models [93.49333173279508]
  大規模言語モデル(LLM)は、一般的なシナリオにおいて印象的な機能を示している。 本研究は,マルチアスペクト・プロンプトと選択のためのMAPSフレームワークを提案する。 品質推定に基づく選択機構を用いて,ノイズや不ヘッピーな知識を抽出する。
  論文  参考訳（メタデータ） (2023-05-06T19:03:12Z)
• Multimodal Lecture Presentations Dataset: Understanding Multimodality in Educational Slides [57.86931911522967]
  学習内容のマルチモーダル理解における機械学習モデルの能力を検証する。 このデータセットには,180時間以上のビデオと9000時間以上のスライドが,各科目から10人の講師が参加している。 マルチモーダル・トランスフォーマーであるPolyViLTを導入する。
  論文  参考訳（メタデータ） (2022-08-17T05:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。