論文の概要: Teach Multimodal Recommendation Model to See via Personalized Visual Extraction and Adaptive Learning

• arxiv url: http://arxiv.org/abs/2606.09082v1
• Date: Mon, 08 Jun 2026 06:28:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.762106
• Title: Teach Multimodal Recommendation Model to See via Personalized Visual Extraction and Adaptive Learning
• Title（参考訳）: パーソナライズされた視覚抽出と適応学習を通して見るマルチモーダル推薦モデル
• Abstract要約: 我々は、パーソナライズされた視覚抽出と適応学習(REVEAL)を通して見るためのTeach Multimodal Recommendation Modelを提案する。 REVEALは、元のレコメンデーションバックボーンを変更することなく、視覚表現学習とクロスモーダル最適化を強化するプラグイン・アンド・プレイフレームワークである。 複数の実世界のデータセットとMSRバックボーンの実験は、REVEALが常にレコメンデーションパフォーマンスを改善することを実証している。
• 参考スコア（独自算出の注目度）: 45.34206625920756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal sequential recommendation (MSR) incorporates textual and visual information to improve recommendation quality. However, recent studies and our empirical analysis show that visual features are often underutilized, thereby contributing far less than textual signals. We attribute this issue to two factors: insufficient visual representation learning (pretrained encoders fail to capture preference-relevant cues) and unbalanced visual-text optimization (textual features dominate the learning process). To address these issues, we propose Teach Multimodal Recommendation Model to See via Personalized Visual Extraction and Adaptive Learning (REVEAL), a plug-and-play framework that enhances visual representation learning and cross-modal optimization without modifying the original recommendation backbone. REVEAL consists of Feedback-Guided Visual Extraction (FVE), which refines prompt-guided visual extraction through task-level feedback, and Adaptive Visual Learning (AVL), which dynamically reweights visual learning to alleviate modality imbalance. Experiments on multiple real-world datasets and MSR backbones demonstrate that REVEAL consistently improves recommendation performance. Further analysis shows that these gains arise from more effective attention to preference-relevant visual regions and better visual utilization during training. The code is available at https://github.com/YutongLi2024/REVEAL.
• Abstract（参考訳）: マルチモーダルシーケンシャルレコメンデーション(MSR)は、レコメンデーション品質を改善するためにテキスト情報と視覚情報を組み込む。 しかし,近年の研究では,視覚的特徴があまり利用されていないことが示され,テキスト信号よりもはるかに少ない結果が得られた。 この問題は、視覚表現学習が不十分(事前制約付きエンコーダは、嗜好関連キューをキャプチャできない)と、不均衡な視覚テキスト最適化(テキスト特徴が学習プロセスを支配している)の2つの要因に起因している。 これらの課題に対処するために,視覚的表現学習とモーダル間最適化を強化するプラグイン・アンド・プレイ・フレームワークであるREVEAL(Personalized Visual extract and Adaptive Learning)を用いたTeach Multimodal Recommendation Modelを提案する。 REVEALは、タスクレベルのフィードバックを通じて迅速な視覚的抽出を洗練するフィードバックガイドビジュアル抽出(FVE)と、動的に視覚学習を重畳してモダリティの不均衡を緩和する適応視覚学習(AVL)で構成されている。 複数の実世界のデータセットとMSRバックボーンの実験は、REVEALが常にレコメンデーションパフォーマンスを改善することを実証している。 さらなる分析により、これらの利得は、嗜好関連視覚領域へのより効果的な注意と、トレーニング中の視覚的利用の改善から生じることが示された。 コードはhttps://github.com/YutongLi2024/REVEALで公開されている。

関連論文リスト

• Visual-ERM: Reward Modeling for Visual Equivalence [59.317480168347664]
  Visual Equivalence Reward Model (Visual-ERM)は、細粒度、解釈可能、タスクに依存しないフィードバックを提供するマルチモーダル生成報酬モデルである。 Visual-ERM は Qwen3-VL-8B-Instruct を 8.4 で改善し、テーブルとSVGのパースで一貫したゲインを得る。 VisualCritic-RewardBench(VC-RewardBench)は、構造化された視覚データに対して微細な画像と画像の相違を判定するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-03-13T17:58:14Z)
• Reinforced Visual Perception with Tools [66.79840157663237]
  本稿では,GRPOに基づく新しいRLアルゴリズムを提案する。 本手法は,複数の知覚重度ベンチマークにおいて,最先端の性能を実現する。 我々のReVPT-3BとReVPT-7BはCV-Benchでインストラクションモデルを9.03%、9.44%上回っている。
  論文  参考訳（メタデータ） (2025-09-01T17:57:49Z)
• Learning Only with Images: Visual Reinforcement Learning with Reasoning, Rendering, and Visual Feedback [33.127607245587576]
  本稿では,MLLMが生画像のみから複雑な視覚的推論を学習できるようにするフレームワークを提案する。 我々は、この相対的容易さが強化学習による最適化に理想的な報酬信号を提供することを示した。 RRVF訓練モデルは既存のMLLMを上回り、微調整ベースラインを監督するだけでなく、より優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-07-28T12:21:19Z)
• Revisiting Visual Understanding in Multimodal Reasoning through a Lens of Image Perturbation [38.740533834549716]
  言語のみのモデルでは、生の視覚入力を消費するMLLMと同等またはそれ以上の性能が得られることを示す。 そこで我々は,アルゴリズムの修正を必要とせず,知覚の堅牢性を高めるシンプルな視覚摂動フレームワークを提案する。 本研究は,マルチモーダル数学的推論における視覚摂動の重要性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-06-11T13:39:46Z)
• Interactive Visualization Recommendation with Hier-SUCB [52.11209329270573]
  本稿では,従来のインタラクションからユーザフィードバックを学習する対話型パーソナライズドビジュアライゼーションレコメンデーション(PVisRec)システムを提案する。 よりインタラクティブで正確なレコメンデーションのために、PVisRec設定における文脈的半帯域であるHier-SUCBを提案する。
  論文  参考訳（メタデータ） (2025-02-05T17:14:45Z)
• Instruction Tuning-free Visual Token Complement for Multimodal LLMs [51.138806401996696]
  マルチモーダルな大言語モデル(MLLM)は、視覚と言語の間のエレガントな橋渡しを約束している。 本稿では,MLLM が欠落した視覚機能を取り戻すのに役立つ Visual Token Complement フレームワーク (VTC) を提案する。 我々のVTCは、テキスト不関連特徴を特定するためのガイドとしてテキスト・ツー・イメージ生成を統合し、視覚的セレクタを開発し、補完的な視覚的トークンを生成する。
  論文  参考訳（メタデータ） (2024-08-09T12:13:01Z)
• Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
  LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。 LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。 本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T14:30:33Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• COURIER: Contrastive User Intention Reconstruction for Large-Scale Visual Recommendation [33.903096803803706]
  我々は、既存のモダリティ機能を超えたさらなる改善のために、推奨に適した視覚的特徴事前学習法が必要であると論じる。 本研究では,行動履歴からユーザ興味に関連する視覚的特徴を抽出する効果的なユーザ意図再構築モジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。