論文の概要: NoteLLM-2: Multimodal Large Representation Models for Recommendation

• arxiv url: http://arxiv.org/abs/2405.16789v1
• Date: Mon, 27 May 2024 03:24:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 23:33:21.678734
• Title: NoteLLM-2: Multimodal Large Representation Models for Recommendation
• Title（参考訳）: NoteLLM-2:レコメンデーションのためのマルチモーダル大規模表現モデル
• Authors: Chao Zhang, Haoxin Zhang, Shiwei Wu, Di Wu, Tong Xu, Yan Gao, Yao Hu, Enhong Chen,
• Abstract要約: マルチモーダルなアイテム・ツー・イテムレコメンデーションにおけるマルチモーダル表現を強化するための大規模言語モデルの可能性について検討する。 1つの実現可能な方法は、表現タスクのためにMLLM(Multimodal Large Language Models)を転送することである。 マルチモーダル表現に特化して設計された新しいトレーニングフレームワークNoteLLM-2を提案する。
• 参考スコア（独自算出の注目度）: 60.17448025069594
• License:
• Abstract: Large Language Models (LLMs) have demonstrated exceptional text understanding. Existing works explore their application in text embedding tasks. However, there are few works utilizing LLMs to assist multimodal representation tasks. In this work, we investigate the potential of LLMs to enhance multimodal representation in multimodal item-to-item (I2I) recommendations. One feasible method is the transfer of Multimodal Large Language Models (MLLMs) for representation tasks. However, pre-training MLLMs usually requires collecting high-quality, web-scale multimodal data, resulting in complex training procedures and high costs. This leads the community to rely heavily on open-source MLLMs, hindering customized training for representation scenarios. Therefore, we aim to design an end-to-end training method that customizes the integration of any existing LLMs and vision encoders to construct efficient multimodal representation models. Preliminary experiments show that fine-tuned LLMs in this end-to-end method tend to overlook image content. To overcome this challenge, we propose a novel training framework, NoteLLM-2, specifically designed for multimodal representation. We propose two ways to enhance the focus on visual information. The first method is based on the prompt viewpoint, which separates multimodal content into visual content and textual content. NoteLLM-2 adopts the multimodal In-Content Learning method to teach LLMs to focus on both modalities and aggregate key information. The second method is from the model architecture, utilizing a late fusion mechanism to directly fuse visual information into textual information. Extensive experiments have been conducted to validate the effectiveness of our method.
• Abstract（参考訳）: 大規模言語モデル (LLM) は例外的なテキスト理解を実証している。 既存の作業は、テキスト埋め込みタスクでアプリケーションを調べます。 しかし、マルチモーダル表現タスクを支援するためにLLMを利用する作業はほとんどない。 本研究では,マルチモーダルアイテム・ツー・イテム(I2I)レコメンデーションにおけるマルチモーダル表現を強化するLLMの可能性を検討する。 1つの実現可能な方法は、表現タスクのためにMLLM(Multimodal Large Language Models)を転送することである。 しかし、事前学習のMLLMは通常、高品質でWebスケールのマルチモーダルデータを収集する必要があるため、複雑なトレーニング手順やコストがかかる。 これにより、コミュニティはオープンソースのMLLMに大きく依存し、表現シナリオのカスタマイズされたトレーニングを妨げることになる。 そこで本研究では,既存のLCMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現モデルを構築するためのエンドツーエンドトレーニング手法を設計することを目的とする。 予備実験により、このエンド・ツー・エンド方式の微調整LDMは、画像の内容を見落としてしまう傾向にあることが示された。 そこで本研究では,マルチモーダル表現に特化して設計された新しいトレーニングフレームワークであるNoteLLM-2を提案する。 視覚情報に焦点を当てる2つの方法を提案する。 第1の方法は,マルチモーダルコンテンツを視覚コンテンツとテキストコンテンツに分離するプロンプト視点に基づく。 NoteLLM-2はマルチモーダルなIn-Content Learning法を採用し、LLMにモダリティと集約キー情報の両方にフォーカスするよう教える。 第2の方法はモデルアーキテクチャからのものであり、視覚情報をテキスト情報に直接融合するための後期融合機構を利用する。 本手法の有効性を検証するため, 広範囲な実験を行った。

関連論文リスト

• Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment [58.94611347128066]
  タスク選好最適化(TPO)は、典型的なきめ細かい視覚的タスクから派生した微分可能なタスク選好を利用する新しい手法である。 トレーニング中にリッチなビジュアルラベルを活用することで、TPOはMLLMのマルチモーダル能力とタスク固有のパフォーマンスを大幅に向上させる。 VideoChatとLLaVAによるこのアプローチのインスタンス化は、ベースラインモデルと比較して、総合的に14.6%のマルチモーダル性能の向上を示している。
  論文  参考訳（メタデータ） (2024-12-26T18:56:05Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
  MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。 既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。 大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
  論文  参考訳（メタデータ） (2024-07-23T03:58:08Z)
• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• Exploring the Transferability of Visual Prompting for Multimodal Large Language Models [47.162575147632396]
  Transferable Visual Prompting (TVP) は、異なるモデルに転送可能な視覚的プロンプトを生成するためのシンプルで効果的なアプローチである。 本稿では,既存の視覚的プロンプト手法のクロスモデル特徴劣化問題に対処し,学習したプロンプトの伝達可能性を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-17T09:39:07Z)
• Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion [70.9767518332692]
  LLMを事前訓練された視覚モデルに組み込んだマルチモーダル大規模言語モデル(MLLM)は、近年、多様な視覚言語タスクにまたがる印象的なパフォーマンスを実証している。 しかし、複数の画像を含む文脈を理解するには不十分である。 本稿では,2つのフェーズ・パラダイムであるブラウズ・アンド・集中型を提案し,より深いマルチモーダルコンテキスト融合を実現する。
  論文  参考訳（メタデータ） (2024-02-19T14:59:07Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)
• D$^2$TV: Dual Knowledge Distillation and Target-oriented Vision Modeling for Many-to-Many Multimodal Summarization [113.72253589338472]
  many-to-many multimodal summarization (M$3$S) タスクは、どんな言語でも文書入力と対応する画像シーケンスで要約を生成することを目的としている。 本稿では,M$3$Sタスクのための二重知識蒸留と目標指向視覚モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-22T06:47:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。