論文の概要: OpticalRec: Unified Optical Vision-Language Representation for Multimodal Recommendation

• arxiv url: http://arxiv.org/abs/2610.05432v1
• Date: Sun, 04 Oct 2026 18:12:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:49:18.238657
• Title: OpticalRec: Unified Optical Vision-Language Representation for Multimodal Recommendation
• Title（参考訳）: マルチモーダルレコメンデーションのための統一光ビジョン言語表現
• Abstract要約: OpticalRecは、マルチモーダル・コラボレーティブ・フィルタリングのための最初の視覚空間統合符号化パラダイムである。 アイテムのテキストメタデータをビジュアルグリフとしてレンダリングし、ビジュアルエンコーダ内でネイティブな画像とテキストのインタラクションを可能にする。 現代の視覚言語モデルの二重アテンション機構を利用する。
• 参考スコア（独自算出の注目度）: 66.37155829178484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in vision-language modeling have substantially improved multimodal encoding, retrieval and reasoning. Yet for multimodal recommendation, encoding rich item vision-language semantic interactions remains a long-standing bottleneck, which hampers accurate item representation learning and user-item matching. Mainstream approaches primarily adopt independent encoding of vision and language modality followed by rigid late fusion such as concatenation, inherently omitting native vision-language interactions and introducing cross-modal semantic distortion. To address this challenge, we propose OpticalRec, the first visual-space unified encoding paradigm for multimodal collaborative filtering, a fundamental recommendation setting. Instead of isolated modality-specific encoding, OpticalRec renders item textual metadata as visual glyphs, enabling native image-text interaction within the visual encoder - the perceptual encoding level. The resulting representations are further processed by the language decoder - the semantic encoding level, allowing OpticalRec to exploit the dual-attention mechanism of modern vision-language models that previous encoding methods omitted. OpticalRec's efficacy is theoretically supported by mutual information analysis and empirically demonstrated through superior performance across strong baselines and benchmarks. As a plug-and-play module, OpticalRec (1) introduces minimal cost, (2) is robust against rendered text font, color and layout, etc., and (3) integrates seamlessly into existing multimodal collaborative filtering models.
• Abstract（参考訳）: 視覚言語モデリングの最近の進歩は、マルチモーダル符号化、検索、推論を大幅に改善した。 しかし、マルチモーダルレコメンデーションでは、リッチアイテムの視覚-言語間セマンティックな相互作用を符号化することが長年のボトルネックであり、正確なアイテム表現学習とユーザ-イテムマッチングを妨げている。 主流のアプローチは、主に視覚と言語のモダリティを独立に符号化し、その後に連結、本質的にネイティブな視覚と言語間の相互作用を省略し、モーダル間の意味的歪みを導入するような厳密な後期融合が続く。 そこで本研究では,マルチモーダル・コラボレーティブ・フィルタリングのための視覚空間統合符号化パラダイムであるOptoRecを提案する。 分離されたモダリティ固有のエンコーディングの代わりに、OptoRecはアイテムのテキストメタデータをビジュアルグリフとしてレンダリングし、視覚エンコーダ内のネイティブな画像とテキストのインタラクションを可能にする。 結果として得られる表現は、セマンティックエンコーディングレベルである言語デコーダによってさらに処理されるため、OptoRecは、以前のエンコーディングメソッドが省略した現代の視覚言語モデルの二重アテンション機構を利用することができる。 OpticalRecの有効性は、相互情報分析によって理論的に支持され、強力なベースラインとベンチマークで優れた性能で実証的に実証される。 プラグアンドプレイモジュールとして、OptoRec (1) は最小限のコスト、(2) はレンダリングされたテキストフォント、色、レイアウトなどに対して堅牢であり、(3) は既存のマルチモーダル協調フィルタリングモデルとシームレスに統合される。

関連論文リスト

• Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation [66.53544128707817]
  Cheersは、パッチレベルの詳細をセマンティック表現から切り離す、統一されたマルチモーダルモデルである。 チェアは視覚的理解と生成の両方において、高度なUMMと一致または超えます。
  論文  参考訳（メタデータ） (2026-03-13T08:55:27Z)
• Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions [81.33113485830711]
  視覚言語モデルに対して,視覚のない単一エンコーダ検索パイプラインを導入する。 VLLM生成した構造化画像記述の助けを借りてテキストからテキストへ移行する。 提案手法は,複数検索および構成性ベンチマークにおいて,最先端のゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2025-09-23T16:22:27Z)
• Unified Multimodal Understanding via Byte-Pair Visual Encoding [34.96534298857146]
  マルチモーダル大言語モデル (MLLM) は視覚言語理解において大きな進歩を遂げている。 視覚トークンにバイトペアエンコーディングを適用することで,マルチモーダル理解を統一するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T09:08:08Z)
• Optimizing Vision-Language Interactions Through Decoder-Only Models [4.219163079329444]
  MUDAIFは視覚とテキストの入力をシームレスに統合する視覚言語モデルである。 効率性、柔軟性、クロスモーダルな理解が向上します。 45Mイメージテキストペアの大規模なデータセットでトレーニングされている。
  論文  参考訳（メタデータ） (2024-12-14T09:04:32Z)
• Cross-aware Early Fusion with Stage-divided Vision and Language Transformer Encoders for Referring Image Segmentation [15.676384275867965]
  セグメンテーションの参照は、自然言語表現に関連する対象オブジェクトをセグメンテーションすることを目的としている。 近年のモデルは、視覚エンコーダの中間段階における言語機能との早期融合に焦点を当てている。 本稿では,段階分割ビジョンと言語トランスフォーマーエンコーダを用いた新しいアーキテクチャであるクロスアウェアアーリーフュージョンを提案する。
  論文  参考訳（メタデータ） (2024-08-14T13:17:41Z)
• Fuse & Calibrate: A bi-directional Vision-Language Guided Framework for Referring Image Segmentation [8.383431263616105]
  FCNetは,視覚と言語の両方が役割を担っている,双方向誘導融合方式のフレームワークである。 具体的には、視覚誘導方式を用いて初期マルチモーダル融合を行い、キービジョン情報に焦点を当てたマルチモーダル特徴を得る。 次に,言語誘導型キャリブレーションモジュールを提案し,これらのマルチモーダル特徴をキャリブレーションし,入力文の文脈を確実に理解する。
  論文  参考訳（メタデータ） (2024-05-18T07:21:12Z)
• Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
  モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。 対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。 我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-27T21:16:10Z)
• Enhanced Modality Transition for Image Captioning [51.72997126838352]
  MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。 トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。 提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-02-23T07:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。