Fugu-MT 論文翻訳(概要): Harnessing Large Language Models for Multimodal Product Bundling

論文の概要: Harnessing Large Language Models for Multimodal Product Bundling

arxiv url: http://arxiv.org/abs/2407.11712v2
Date: Wed, 17 Jul 2024 13:57:55 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-10 19:46:10.399272
Title: Harnessing Large Language Models for Multimodal Product Bundling
Title（参考訳）: マルチモーダル製品バンドルのための大規模言語モデルのハーネス化
Authors: Xiaohao Liu, Jie Wu, Zhulin Tao, Yunshan Ma, Yinwei Wei, Tat-seng Chua,
Abstract要約: 大型言語モデル(LLM)と製品バンドルタスクのギャップを埋めるために、Bundle-LLMを導入します。具体的には、マルチモーダル情報を統合するために、ハイブリッドアイテムトークン化を使用し、単純なマルチモーダル融合モジュールとトレーニング可能なプロジェクタが、すべての非テキスト機能を単一のトークンに埋め込む。我々の手法は、最先端(SOTA)の手法よりも優れています。
参考スコア（独自算出の注目度）: 53.01642741096356
License:
Abstract: Product bundling provides clients with a strategic combination of individual items. And it has gained significant attention in recent years as a fundamental prerequisite for online services. Recent methods utilize multimodal information through sophisticated extractors for bundling, but remain limited by inferior semantic understanding, the restricted scope of knowledge, and an inability to handle cold-start issues. Despite the extensive knowledge and complex reasoning capabilities of large language models (LLMs), their direct utilization fails to process multimodalities and exploit their knowledge for multimodal product bundling. Adapting LLMs for this purpose involves demonstrating the synergies among different modalities and designing an effective optimization strategy for bundling, which remains challenging. To this end, we introduce Bundle-LLM to bridge the gap between LLMs and product bundling tasks. Specifically, we utilize a hybrid item tokenization to integrate multimodal information, where a simple yet powerful multimodal fusion module followed by a trainable projector embeds all non-textual features into a single token. This module not only explicitly exhibits the interplays among modalities but also shortens the prompt length, thereby boosting efficiency. By designing a prompt template, we formulate product bundling as a multiple-choice question given candidate items. Furthermore, we adopt progressive optimization strategy to fine-tune the LLMs for disentangled objectives, achieving effective product bundling capability with comprehensive multimodal semantic understanding. Extensive experiments on four datasets from two application domains show that our approach outperforms a range of state-of-the-art (SOTA) methods.
Abstract（参考訳）: プロダクトバンドルは、クライアントに個々のアイテムの戦略的組み合わせを提供する。近年、オンラインサービスの基本前提として注目されている。近年の手法では, セマンティック理解の劣る部分, 知識の範囲の制限, コールドスタート問題に対処できない部分によって, 厳密な抽出器を通じてマルチモーダル情報を利用する方法が提案されている。大規模言語モデル(LLM)の豊富な知識と複雑な推論能力にもかかわらず、それらの直接的な利用はマルチモーダル処理に失敗し、その知識を多モーダル製品バンドルに活用する。この目的のためにLLMを適用するには、異なるモダリティ間の相乗効果を実証し、バンドルのための効果的な最適化戦略を設計する必要がある。この目的のために,LLM と製品バンドルタスクのギャップを埋めるために Bundle-LLM を導入する。具体的には、マルチモーダル情報を統合するために、ハイブリッドアイテムトークン化を使用し、単純なマルチモーダル融合モジュールとトレーニング可能なプロジェクタが、すべての非テキスト機能を単一のトークンに埋め込む。このモジュールは、モダリティ間の相互作用を明示的に示すだけでなく、プロンプトの長さを短縮し、効率を高める。プロンプトテンプレートを設計することにより、製品バンドルを候補項目の多重選択質問として定式化する。さらに,多モーダルなセマンティック理解を網羅し,効率的な製品バンドル機能を実現するため,LLMを微調整するプログレッシブ最適化戦略を採用した。 2つのアプリケーションドメインからの4つのデータセットに対する大規模な実験は、我々のアプローチが、最先端(SOTA)メソッドよりも優れていることを示している。

関連論文リスト

LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
論文参考訳（メタデータ） (2024-10-26T13:19:57Z)
RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文参考訳（メタデータ） (2024-10-18T03:45:19Z)
UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
論文参考訳（メタデータ） (2024-07-23T03:58:08Z)
NoteLLM-2: Multimodal Large Representation Models for Recommendation [60.17448025069594]
マルチモーダルなアイテム・ツー・イテムレコメンデーションにおけるマルチモーダル表現を強化するための大規模言語モデルの可能性について検討する。 1つの実現可能な方法は、表現タスクのためにMLLM(Multimodal Large Language Models)を転送することである。マルチモーダル表現に特化して設計された新しいトレーニングフレームワークNoteLLM-2を提案する。
論文参考訳（メタデータ） (2024-05-27T03:24:01Z)
Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion [70.9767518332692]
LLMを事前訓練された視覚モデルに組み込んだマルチモーダル大規模言語モデル(MLLM)は、近年、多様な視覚言語タスクにまたがる印象的なパフォーマンスを実証している。しかし、複数の画像を含む文脈を理解するには不十分である。本稿では,2つのフェーズ・パラダイムであるブラウズ・アンド・集中型を提案し,より深いマルチモーダルコンテキスト融合を実現する。
論文参考訳（メタデータ） (2024-02-19T14:59:07Z)
Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
論文参考訳（メタデータ） (2024-01-16T08:44:29Z)
ModaVerse: Efficiently Transforming Modalities with LLMs [25.49713745405194]
ModaVerseはマルチモーダルな大規模言語モデルで、様々なモダリティにまたがってコンテンツを解釈・変換できる。自然言語のレベルで直接動作する新しい入出力(I/O)アライメント機構を提案する。
論文参考訳（メタデータ） (2024-01-12T06:28:54Z)
Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics [32.123919380959485]
MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。 LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
論文参考訳（メタデータ） (2023-09-13T17:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。