論文の概要: PRE-MAP: Personalized Reinforced Eye-tracking Multimodal LLM for High-Resolution Multi-Attribute Point Prediction

• arxiv url: http://arxiv.org/abs/2507.19213v1
• Date: Fri, 25 Jul 2025 12:32:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-28 16:16:48.95536
• Title: PRE-MAP: Personalized Reinforced Eye-tracking Multimodal LLM for High-Resolution Multi-Attribute Point Prediction
• Title（参考訳）: Pre-MAP:高分解能マルチ属性点予測のためのパーソナライズされた強化アイトラッキングマルチモーダルLCM
• Authors: Hanbing Wu, Ping Jiang, Anyang Su, Chenxu Zhao, Tianyu Fu, Minghui Wu, Beiping Tan, Huiying Li,
• Abstract要約: 対象的パーソナライズド・アテンション・フォー・ビデオ(Personive Personalized Attention for... Videos)は、年齢や性別によって4,500人以上の参加者の視線行動を486ビデオで捉えた大規模マルチモーダル・データセットである。 本稿では,MLLM上に構築され,多属性ユーザプロファイルによるポイント予測を導出する,強化学習最適化眼球追跡によるパーソナライズド視覚の相違を特徴付ける新しいアイトラッキング・サリエンシ・モデルであるPre-MAPを提案する。
• 参考スコア（独自算出の注目度）: 14.053830475673031
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Visual selective attention, driven by individual preferences, regulates human prioritization of visual stimuli by bridging subjective cognitive mechanisms with objective visual elements, thereby steering the semantic interpretation and hierarchical processing of dynamic visual scenes. However, existing models and datasets predominantly neglect the influence of subjective cognitive diversity on fixation behavior. Conventional saliency prediction models, typically employing segmentation approaches, rely on low-resolution imagery to generate saliency heatmaps, subsequently upscaled to native resolutions, which limiting their capacity to capture personalized attention patterns. Furthermore, MLLMs are constrained by factors such as hallucinations, making it very costly to strictly adhere to the expected format in tasks involving multiple point predictions, and achieving precise point positioning is challenging. To address these limitations, we present Subjective Personalized Attention for Advertisement Videos, namely SPA-ADV, a large-scale multimodal dataset capturing gaze behaviors from over 4,500 participants varying in age and gender with 486 videos. Furthermore, we propose PRE-MAP, a novel eye-tracking saliency model that characterizes Personalized visual disparities through Reinforcement learning-optimized Eye-tracking, built upon MLLMs and guided by Multi-Attribute user profiles to predict Points. To ensure MLLMs produce prediction points that are both format-correct and spatially accurate, we introduce Consistency Group Relative Policy Optimization (C-GRPO), inspired by the variability in eye movement points and Multi-Attribute profiles. Extensive experiments on SPA-ADV and other benchmarks demonstrate the effectiveness of our approach. The code and dataset are available at \href{https://github.com/mininglamp-MLLM/PRE-MAP}{this URL}.
• Abstract（参考訳）: 視覚選択的注意は、個人の嗜好によって引き起こされ、客観的な認知メカニズムを客観的な視覚要素でブリッジすることで、人間の視覚刺激の優先順位付けを規制し、ダイナミックな視覚シーンのセマンティック解釈と階層的処理を操る。 しかし、既存のモデルやデータセットは、主観的認知の多様性が固定行動に与える影響をほとんど無視している。 従来のサリエンシ予測モデルは、セグメンテーションアプローチを採用しており、サリエンシのヒートマップを生成するために低解像度のイメージに依存しており、その後、ネイティブの解像度にスケールアップされ、パーソナライズされた注意パターンをキャプチャする能力が制限される。 さらに、MLLMは幻覚などの要因によって制約されるため、複数の点予測を含むタスクにおいて、期待フォーマットに厳密に準拠することが非常にコストがかかり、正確な点位置決めを実現することは困難である。 SPA-ADVという大規模なマルチモーダルデータセットは、年齢や性別によって4,500人以上の参加者の視線行動を486ビデオで捉えます。 さらに,MLLM上に構築され,マルチ属性のユーザプロファイルによって誘導され,ポイントを予測することで,パーソナライズされた視差を特徴付ける新しいアイトラッキング・サリエンシ・モデルであるPre-MAPを提案する。 MLLMが整形的かつ空間的正確である予測点を確実に作成するために,眼球運動点の変動性とマルチ属性プロファイルに触発された一貫性グループ相対ポリシー最適化(C-GRPO)を導入する。 SPA-ADVや他のベンチマークに関する大規模な実験は、我々のアプローチの有効性を実証している。 コードとデータセットは \href{https://github.com/mininglamp-MLLM/PRE-MAP}{this URL} で公開されている。

関連論文リスト

• Multi-Step Visual Reasoning with Visual Tokens Scaling and Verification [22.871255950998016]
  本稿では,MLLMが視覚コンテンツに対して検証者誘導推論を行うことを可能にする,推論時ビジュアルトークンスケーリングのための新しいフレームワークを提案する。 提案手法は,様々な視覚的推論ベンチマークにおいて,既存手法よりも優れていた。 これらの結果は,次世代MLLMにおける微粒でコンテキスト対応の視覚的推論を実現するための動的推論機構の実現を実証するものである。
  論文  参考訳（メタデータ） (2025-06-08T17:38:49Z)
• Re-Align: Aligning Vision Language Models via Retrieval-Augmented Direct Preference Optimization [18.855378039713678]
  大規模視覚言語モデル(VLM)は、特に横断的不整合の形で、重要な幻覚を引き起こす傾向がある。 本稿では、画像検索を利用した新しいアライメントフレームワークRe-Alignを紹介する。 我々はまた、微調整中に視覚的嗜好を付加する、標準の直接選好最適化の拡張であるrDPOも導入する。
  論文  参考訳（メタデータ） (2025-02-18T18:59:57Z)
• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• MIA-DPO: Multi-Image Augmented Direct Preference Optimization For Large Vision-Language Models [85.30735602813093]
  Multi-Image Augmented Direct Preference Optimization (MIA-DPO)は、マルチイメージ入力を効果的に処理する視覚的嗜好アライメントアプローチである。 MIA-DPOは、グリッドコラージュやピクチャ・イン・ピクチャ形式で配置された無関係な画像で単一の画像データを拡張することにより、多様なマルチイメージトレーニングデータの不足を軽減する。
  論文  参考訳（メタデータ） (2024-10-23T07:56:48Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• HiLM-D: Enhancing MLLMs with Multi-Scale High-Resolution Details for Autonomous Driving [44.06475712570428]
  HiLM-D は ROLISP 用の MLLM の視覚情報処理を強化するリソース効率のよいフレームワークである。 本手法は, 自律走行シナリオにおける主要な変動が運動軌跡であるという事実に動機付けられている。 実験の結果、HiLM-Dは現在のMLLMよりも大幅に改善され、BLEU-4のキャプションは3.7%、mIoUの8.7%が検出された。
  論文  参考訳（メタデータ） (2023-09-11T01:24:13Z)
• MOPT: Multi-Object Panoptic Tracking [33.77171216778909]
  マルチオブジェクト・パノプティブ・トラッキング(MOPT)と呼ばれる新しい知覚タスクを導入する。 MOPTは、時間とともに、"thing"クラスと"stuff"クラスのピクセルレベルのセマンティック情報、時間的コヒーレンス、ピクセルレベルの関連を活用できる。 視覚ベースとLiDARベースのMOPTの定量的,定性的な評価を行い,その効果を実証した。
  論文  参考訳（メタデータ） (2020-04-17T11:45:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。