Fugu-MT 論文翻訳(概要): DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever

論文の概要: DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever

arxiv url: http://arxiv.org/abs/2401.01076v2
Date: Wed, 3 Jan 2024 02:13:29 GMT
ステータス: 処理完了
システム内更新日: 2024-01-04 11:12:26.465912
Title: DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever
Title（参考訳）: DialCLIP:CLIPをマルチモードダイアログレトリバーとして活用する
Authors: Zhichao Yin, Binyuan Hui, Min Yang, Fei Huang, Yongbin Li
Abstract要約: マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
参考スコア（独自算出の注目度）: 83.33209603041013
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recently, substantial advancements in pre-trained vision-language models have greatly enhanced the capabilities of multi-modal dialog systems. These models have demonstrated significant improvements by fine-tuning on downstream tasks. However, the existing pre-trained models primarily focus on effectively capturing the alignment between vision and language modalities, often ignoring the intricate nature of dialog context. In this paper, we propose a parameter-efficient prompt-tuning method named DialCLIP for multi-modal dialog retrieval. Specifically, our approach introduces a multi-modal context prompt generator to learn context features which are subsequently distilled into prompts within the pre-trained vision-language model CLIP. Besides, we introduce domain prompt to mitigate the disc repancy from the downstream dialog data. To facilitate various types of retrieval, we also design multiple experts to learn mappings from CLIP outputs to multi-modal representation space, with each expert being responsible to one specific retrieval type. Extensive experiments show that DialCLIP achieves state-of-the-art performance on two widely recognized benchmark datasets (i.e., PhotoChat and MMDialog) by tuning a mere 0.04% of the total parameters. These results highlight the efficacy and efficiency of our proposed approach, underscoring its potential to advance the field of multi-modal dialog retrieval.
Abstract（参考訳）: 近年,事前学習型視覚言語モデルの大幅な進歩により,マルチモーダル対話システムの性能が大幅に向上している。これらのモデルは下流タスクの微調整によって大幅に改善されている。しかし、既存の事前学習モデルは主に視覚と言語モダリティのアライメントを効果的に捉えることに重点を置いており、しばしば対話コンテキストの複雑な性質を無視している。本稿では,マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法dialogclipを提案する。具体的には、事前学習された視覚言語モデルCLIP内のプロンプトに蒸留されたコンテキスト特徴を学習するためのマルチモーダルコンテキストプロンプトジェネレータを提案する。また,ダウンストリームのダイアログデータからディスクリピートを軽減するために,ドメインプロンプトを導入する。様々なタイプの検索を容易にするために,複数の専門家がCLIP出力からマルチモーダル表現空間へのマッピングを学習し,それぞれが特定の検索タイプに責任を持つように設計する。大規模な実験により、DialCLIPは2つの広く認識されているベンチマークデータセット(PhotoChatとMDDialog)上で、合計パラメータの0.04%をチューニングすることで、最先端のパフォーマンスを達成することが示された。これらの結果は,提案手法の有効性と有効性を強調し,マルチモーダルダイアログ検索の分野を前進させる可能性を示している。

関連論文リスト

Enhancing Multimodal Query Representation via Visual Dialogues for End-to-End Knowledge Retrieval [26.585985828583304]
本稿では,マルチモーダルクエリを理解可能なテキスト検索機能を実現するために,エンドツーエンドのマルチモーダル検索システムRet-XKnowを提案する。マルチモーダルインタラクションを効果的に学習するために、視覚対話データセットから構築したVisual Dialogue-to-Retrievalデータセットも導入する。提案手法は,ゼロショット設定における検索性能を大幅に向上するだけでなく,微調整シナリオの大幅な改善も達成できることを示す。
論文参考訳（メタデータ） (2024-11-13T04:32:58Z)
RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文参考訳（メタデータ） (2024-10-18T03:45:19Z)
Multi-Modal Retrieval For Large Language Model Based Speech Recognition [15.494654232953678]
我々は,kNN-LMとクロスアテンション手法の2つのアプローチによるマルチモーダル検索を提案する。音声に基づくマルチモーダル検索はテキストベースの検索よりも優れていることを示す。我々は,Spoken-Squad質問応答データセットを用いて,最先端の認識結果を得る。
論文参考訳（メタデータ） (2024-06-13T22:55:22Z)
POEM: Interactive Prompt Optimization for Enhancing Multimodal Reasoning of Large Language Models [28.072184039405784]
大規模言語モデル(LLM)の効率的なプロンプトエンジニアリングを容易にするビジュアル分析システムであるPOEMを提案する。本システムは,様々なプロンプトによって引き起こされるマルチモーダル知識を包括的に理解するために,モジュール間の相互作用パターンを様々な詳細レベルで探索することを可能にする。
論文参考訳（メタデータ） (2024-06-06T08:21:30Z)
DialogGen: Multi-modal Interactive Dialogue System for Multi-turn Text-to-Image Generation [46.085482021301516]
市販のMLLMとT2Iモデルを連携させてマルチモーダル対話システムを構築するためのDialogGenを提案する。描画プロンプトアライメント、注意深いトレーニングデータキュレーション、エラー修正で構成されている。ダイアログジェネレーションとユーザスタディに関する実験は、他の最先端モデルと比較してダイアログジェネレーションの有効性を実証している。
論文参考訳（メタデータ） (2024-03-13T18:00:01Z)
Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
論文参考訳（メタデータ） (2024-03-05T13:45:46Z)
DeepSpeed-VisualChat: Multi-Round Multi-Image Interleave Chat via Multi-Modal Causal Attention [55.2825684201129]
DeepSpeed-VisualChatは、マルチモーダル機能を組み込むことで、LLM(Large Language Models)を最適化するように設計されている。筆者らのフレームワークは,(1)マルチラウンド・マルチイメージ対話のオープンソースサポート,(2)革新的なマルチモーダル因果注意機構の導入,(3)既存のデータセットにデータブレンディング技術を活用してシームレスな対話を実現すること,などが特徴である。
論文参考訳（メタデータ） (2023-09-25T17:53:29Z)
MM-REACT: Prompting ChatGPT for Multimodal Reasoning and Action [96.33509740612486]
MM-REACTは、マルチモーダル推論とアクションを達成するために、ChatGPTとビジョンエキスパートのプールを統合するシステムパラダイムである。 MM-REACTのプロンプト設計により、言語モデルはマルチモーダル情報を受け入れ、関連づけ、処理することができる。
論文参考訳（メタデータ） (2023-03-20T18:31:47Z)
"Think Before You Speak": Improving Multi-Action Dialog Policy by Planning Single-Action Dialogs [33.78889030078026]
マルチアクションダイアログポリシー(MADP)は、ターンごとに複数のアトミックダイアログアクションを生成する。シングルアクションダイアログダイナミクスを学習する新しいマルチタスク学習フレームワークであるPlanning Enhanced Dialog Policy (PEDP)を提案する。完全教師付き学習ベース手法は, タスク成功率90.6%を達成し, 最先端の手法に比べて3%向上した。
論文参考訳（メタデータ） (2022-04-25T07:55:53Z)
Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
論文参考訳（メタデータ） (2020-09-14T15:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。