論文の概要: Semantic Saliency from Multi-Modal Large Language Model Scene Understanding Maps
- arxiv url: http://arxiv.org/abs/2610.15467v1
- Date: Sun, 11 Oct 2026 09:12:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 01:03:40.626489
- Title: Semantic Saliency from Multi-Modal Large Language Model Scene Understanding Maps
- Title（参考訳）: マルチモーダル大言語モデルシーン理解マップからのセマンティック・サリエンシ
- Abstract要約: 本研究では,シーン理解への各オブジェクトの貢献度を定量化し,セマンティック・サリエンシを計算するための完全自動化手法を提案する。
AUTO-SUMは,人為的なシーン理解マップにおいて,どの物体が最も重要かを予測することができることを示す。
我々は、AUTO-SUMを低レベルのサリエンシモデルを補完するセマンティック・サリエンシ・モデルとして使用できることを主張する。
- 参考スコア（独自算出の注目度）: 5.07524501026194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image-computable low-level image saliency has shaped perceptual psychology and computer science, but is limited by its inability to capture human high-level cognitive factors that influence attention and eye movements. Here, we propose a new fully automated method to compute semantic saliency by quantifying each object's contribution to scene comprehension without fitting any parameters to human data: the Automated Scene Understanding Map (AUTO-SUM). AUTO-SUM automatically segments and removes individual objects from a scene, uses multimodal large language models (MLLMs) to describe the original and modified scenes, and measures the semantic similarity between these descriptions using text embeddings. We show that AUTO-SUM can predict which object is most important in a human-measured scene understanding map (H-SUM) estimated using human scene descriptions. We also show that AUTO-SUM can predict the object most fixated by human observers during free viewing and scene description tasks better than a low-level saliency model (GBVS, Itti-Koch), a saliency model trained based on human meaning ratings (Meaning Map), and comparable to DeepGaze, which is trained on human fixation data. We contend that AUTO-SUM can be used as a semantic saliency model that complements lower-level saliency models. Code are available at https://github.com/starsky77/AUTO-SUM-Source-Code .
- Abstract（参考訳）: 画像計算可能な低レベル画像サリエンシは知覚心理学やコンピュータ科学の形をしているが、注意力や眼球運動に影響を与える人間の高レベル認知因子を捉えることができないため制限されている。
そこで本研究では,人間のデータにパラメータを適合させることなく,各オブジェクトのシーン理解への貢献度を定量化し,セマンティック・サリエンシを計算するための,新しい完全自動化手法を提案する。
AUTO-SUMはシーンから個々のオブジェクトを自動的に分割・削除し、マルチモーダルな大規模言語モデル(MLLM)を使用してオリジナルのシーンと修正されたシーンを記述し、テキスト埋め込みを用いてこれらの記述間の意味的類似性を測定する。
AUTO-SUMは、人間のシーン記述から推定した人間のシーン理解マップ(H-SUM)において、どのオブジェクトが最も重要かを予測することができる。
また、AUTO-SUMは、人間の意味評価(Meaning Map)に基づいて訓練された安楽天モデル(GBVS, Itti-Koch)や、人間の定着データに基づいて訓練されたDeepGazeに匹敵する、自由視聴およびシーン記述タスクにおいて、人間の観察者が最もよく固定したオブジェクトを予測できることを示す。
我々は、AUTO-SUMを低レベルのサリエンシモデルを補完するセマンティック・サリエンシ・モデルとして使用できることを主張する。
コードはhttps://github.com/starsky77/AUTO-SUM-Source-Codeで入手できる。
関連論文リスト
- Revealing the Gap in Human and VLM Scene Perception through Counterfactual Semantic Saliency [3.9792042887828565]
オブジェクトの重要度を測定するために、CSS(Counterfactual Semantic Saliency)を導入する。
AIと人間のセマンティックアライメントを評価するために,人間の心理物理学ベースラインに対して目立った視覚言語モデルを検証した。
モデルは、大きな物体(サイズバイアス)、画像の中心にある物体(中心バイアス)、高い塩分濃度オブジェクトに対して、(人間に関する)過度な信頼を示す。
論文 参考訳（メタデータ） (2026-05-13T06:11:47Z) - Evaluating the encoding competence of visual language models using uncommon actions [5.816389980109022]
UAITは、視覚言語モデル(VLM)の動作シーンにおける意味理解能力をテストするために設計された新しい評価ベンチマークである。
我々は,大規模言語モデル,少数ショットプロンプトエンジニアリング,テキスト・ツー・イメージ・ジェネレーションを用いて,高品質な非常識画像テキストサンプルを合成する。
我々は、複数の最先端ビジュアル言語モデルを評価し、コントラスト学習に基づくモデルと比較する。
論文 参考訳（メタデータ） (2026-01-12T17:15:45Z) - LLaVA-Pose: Enhancing Human Pose and Action Understanding via Keypoint-Integrated Instruction Tuning [1.820765907065129]
現在の視覚言語モデル(VLM)は、一般的な視覚的理解タスクに適している。
本研究では,人間のキーポイントとキャプションやバウンディングボックスといった従来の視覚的特徴を統合することで,そのようなデータを生成する手法を提案する。
このデータセットを用いてLLaVA-1.5-7Bモデルを微調整し、得られたLLaVA-Poseモデルをベンチマーク上で評価し、大幅な改善を実現した。
論文 参考訳（メタデータ） (2025-06-26T14:32:56Z) - Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。
まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。
これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
論文 参考訳（メタデータ） (2024-10-26T12:00:33Z) - Keypoint-Integrated Instruction-Following Data Generation for Enhanced Human Pose and Action Understanding in Multimodal Models [1.9890559505377343]
現在の視覚言語マルチモーダルモデルは、一般的な視覚的理解タスクに適している。
本研究では,人間のキーポイントとキャプションやバウンディングボックスといった従来の視覚的特徴を統合することで,そのようなデータを生成する手法を提案する。
このデータセットを用いてLLaVA-1.5-7Bモデルを微調整し、ベンチマークで評価し、大幅な改善を実現した。
論文 参考訳（メタデータ） (2024-09-14T05:07:57Z) - Lift, Splat, Map: Lifting Foundation Masks for Label-Free Semantic Scene Completion [7.781799395896687]
本研究では,鳥の視線における連続的,オープンなセマンティクスと高度認識の表現を予測するためのLSMapを提案する。
我々のモデルは1枚のRGBD画像しか必要とせず、人間のラベルを必要とせず、リアルタイムに動作する。
事前学習された表現は、教師なしのセマンティックシーンの完了時に、既存の視覚基盤モデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-07-03T18:08:05Z) - OV9D: Open-Vocabulary Category-Level 9D Object Pose and Size Estimation [56.028185293563325]
本稿では,新しい開集合問題,開語彙圏レベルのオブジェクトポーズとサイズ推定について検討する。
まずOO3D-9Dという大規模フォトリアリスティックなデータセットを紹介した。
次に、事前学習したDinoV2とテキストから画像への安定拡散モデルに基づくフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-19T03:09:24Z) - Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。
さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
論文 参考訳（メタデータ） (2024-03-12T14:58:52Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳（メタデータ） (2023-03-16T00:06:28Z) - A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。
主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。
コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文 参考訳（メタデータ） (2022-06-19T08:55:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。