論文の概要: Semantic Alignment for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2408.12867v1
• Date: Fri, 23 Aug 2024 06:48:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 15:49:48.575828
• Title: Semantic Alignment for Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルのための意味的アライメント
• Authors: Tao Wu, Mengze Li, Jingyuan Chen, Wei Ji, Wang Lin, Jinyang Gao, Kun Kuang, Zhou Zhao, Fei Wu,
• Abstract要約: 多モード大言語モデル(SAM)のセマンティックアライメントについて紹介する。 画像間の双方向的意味指導を視覚的・視覚的抽出プロセスに組み込むことにより,コヒーレント解析のためのリンク情報の保存性を高めることを目的とする。 画像間の双方向的意味指導を視覚的・視覚的抽出プロセスに組み込むことにより,コヒーレント解析のためのリンク情報の保存性を高めることを目的とする。
• 参考スコア（独自算出の注目度）: 72.10272479476161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research on Multi-modal Large Language Models (MLLMs) towards the multi-image cross-modal instruction has received increasing attention and made significant progress, particularly in scenarios involving closely resembling images (e.g., change captioning). Existing MLLMs typically follow a two-step process in their pipelines: first, extracting visual tokens independently for each input image, and then aligning these visual tokens from different images with the Large Language Model (LLM) in its textual feature space. However, the independent extraction of visual tokens for each image may result in different semantics being prioritized for different images in the first step, leading to a lack of preservation of linking information among images for subsequent LLM analysis. This issue becomes more serious in scenarios where significant variations exist among the images (e.g., visual storytelling). To address this challenge, we introduce Semantic Alignment for Multi-modal large language models (SAM). By involving the bidirectional semantic guidance between different images in the visual-token extraction process, SAM aims to enhance the preservation of linking information for coherent analysis and align the semantics of different images before feeding them into LLM. As the test bed, we propose a large-scale dataset named MmLINK consisting of 69K samples. Different from most existing datasets for MLLMs fine-tuning, our MmLINK dataset comprises multi-modal instructions with significantly diverse images. Extensive experiments on the group captioning task and the storytelling task prove the effectiveness of our SAM model, surpassing the state-of-the-art methods by a large margin (+37% for group captioning and +22% for storytelling on CIDEr score). Project page: https://mccartney01.github.io/SAM.
• Abstract（参考訳）: マルチモーダル・大規模言語モデル(MLLM)のマルチモーダル・クロスモーダル・インストラクションに関する研究は注目され、特に画像に近づいた場合(例えば、変更キャプション)において顕著な進歩を遂げている。 既存のMLLMは、まず入力画像ごとに独立して視覚トークンを抽出し、次に異なる画像からこれらの視覚トークンをテキストの特徴空間のLarge Language Model(LLM)と整列させる。 しかし、各画像に対する視覚的トークンの独立抽出は、まず最初に異なる画像に対して異なるセマンティクスが優先される結果となり、その後のLCM分析のために画像間のリンク情報の保存が欠如する可能性がある。 この問題は、画像間で大きなバリエーションが存在する場合(例えば、ビジュアルストーリーテリング)にさらに深刻になる。 この課題に対処するために,多モーダル大言語モデル(SAM)のセマンティックアライメントを導入する。 ラーメンは、視覚的・視覚的抽出プロセスにおいて、異なる画像間の双方向意味指導を組み込むことにより、コヒーレントな解析のためのリンク情報の保存を強化し、異なる画像のセマンティクスをLCMに入力する前に整列させることを目的としている。 実験ベッドとして,69Kサンプルからなる大規模データセットMmLINKを提案する。 MmLINKデータセットは、MLLMの微調整のための既存のデータセットとは異なり、非常に多様な画像を持つマルチモーダル命令から構成される。 グループキャプションタスクとストーリーテリングタスクの広範囲な実験により、SAMモデルの有効性が証明され、最先端の手法を大きなマージン(グループキャプティングでは+37%、CIDErスコアでは+22%)で上回った。 プロジェクトページ: https://mccartney01.github.io/SAM

関連論文リスト

• A Chain-of-Thought Subspace Meta-Learning for Few-shot Image Captioning with Large Vision and Language Models [17.144311122664508]
  大規模データに事前訓練された大規模ビジョンと言語モデルは、視覚的および言語的先行性を符号化する。 画像記述の仕方を改善するための多段階画像キャプション手法として,チェーン・オブ・シント(CoT)メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2025-02-19T18:35:43Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• MLLM-SUL: Multimodal Large Language Model for Semantic Scene Understanding and Localization in Traffic Scenarios [10.353093987945012]
  マルチモーダル大規模言語モデル(MLLM)は、多くの自律運転タスクにおいて満足な効果を示している。 本稿では,MLLMを用いて,協調的セマンティック・シーン理解とリスク・ローカライゼーションの課題を解決する。 本手法はシーン理解タスクにおいて,80.1%のBLEU-1スコア,298.5%のCIDErスコア,59.6%の精度を達成している。
  論文  参考訳（メタデータ） (2024-12-27T02:05:38Z)
• Img-Diff: Contrastive Data Synthesis for Multimodal Large Language Models [49.439311430360284]
  コントラスト学習と画像差分キャプションにインスパイアされた新しいデータ合成手法を提案する。 私たちのキーとなるアイデアは、マッチングと異なる要素の両方を識別するためにモデルに挑戦することです。 我々は、この生成されたデータセットを利用して、最先端(SOTA)MLLMを微調整する。
  論文  参考訳（メタデータ） (2024-08-08T17:10:16Z)
• Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion [70.9767518332692]
  LLMを事前訓練された視覚モデルに組み込んだマルチモーダル大規模言語モデル(MLLM)は、近年、多様な視覚言語タスクにまたがる印象的なパフォーマンスを実証している。 しかし、複数の画像を含む文脈を理解するには不十分である。 本稿では,2つのフェーズ・パラダイムであるブラウズ・アンド・集中型を提案し,より深いマルチモーダルコンテキスト融合を実現する。
  論文  参考訳（メタデータ） (2024-02-19T14:59:07Z)
• MLLMs-Augmented Visual-Language Representation Learning [70.5293060238008]
  MLLM(Multi-modal Large Language Models)が視覚言語表現学習を向上させることを実証した。 本手法は単純で,MLLMを用いて画像毎に複数のキャプションを拡張できる。 拡張キャプションの品質と可用性を維持するために,テキストシーリングを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。