論文の概要: MAG: MAnifold Guided Semi-Supervised Multi-modal In-Context Learning

• arxiv url: http://arxiv.org/abs/2608.12724v1
• Date: Thu, 13 Aug 2026 02:10:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.366978
• Title: MAG: MAnifold Guided Semi-Supervised Multi-modal In-Context Learning
• Title（参考訳）: MAG:manifold Guided Semi-Supervised Multi-Modal In-Context Learning
• Abstract要約: マルチモーダル大言語モデル(MLLM)を用いたインコンテキスト学習により,パラメータ更新なしでタスク適応が可能となる。 ラベル付けされていないマルチモーダルデータは豊富だが、ICLのためにそれらを活用する方法はいまだ解明されていない。 ICLを改善するためにラベルのないデータを活用する効率的なフレームワークであるMAG(manifold-Guided semi-supervised in-context demonstra-tion selection)を提案する。
• 参考スコア（独自算出の注目度）: 48.467551522475276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot in-context learning (ICL) with multi-modal large language models (MLLMs) enables task adaptation without parameter updates, but its performance is highly sensitive to the quality and coverage of the selected demonstrations. While unlabeled multi-modal data is abundant, it remains elusive how to exploit them for ICL. We propose MAG (MAnifold-Guided semi-supervised in-context demonstra- tion selection), an efficient framework that leverages unlabeled data to improve multi-modal ICL. MAG formulates demonstration selection as a semi-supervised propagation problem on a multi-modal graph and adopts a two-stage strategy: (i) relevance score propagation identifies a compact set of high-impact unlabeled samples for pseudo-labeling, reducing MLLM inference cost; (ii) multi-modal relevance is used to select the final demonstrations. We show that textual represen- tations are more effective for relevance propagation, while both visual and textual modalities are crucial for high-quality demonstration selection. Experiments on eight multi-modal benchmarks demonstrate that MAG consistently outperforms strong baselines in label-scarce regimes, achieving significant gains with a limited pseudo-labeling budget.
• Abstract（参考訳）: マルチモーダルな大言語モデル (MLLM) を用いたICL (Few-shot In-context Learning) では,パラメータを更新せずにタスク適応が可能であるが,その性能は選択した実演の品質やカバレッジに非常に敏感である。 ラベルのないマルチモーダルデータは豊富だが、ICLのためにそれらをどのように活用するかは、いまだ解明されていない。 マルチモーダルICLを改善するためにラベルのないデータを活用する効率的なフレームワークであるMAG(Manifold-Guided semi-supervised in-context demonstra-tion selection)を提案する。 MAGは、マルチモーダルグラフ上の半教師付き伝搬問題としてデモ選択を定式化し、2段階戦略を採用する。 i) 関連スコアの伝搬は、擬似ラベル付けのための高インパクト未ラベルサンプルのコンパクトなセットを特定し、MLLM推論コストを低減させる。 (ii) 最終デモの選択にはマルチモーダルな関連性を用いる。 テキスト・リプレンス・テイションは関連伝播に有効であるのに対し,視覚的・テキスト的モダリティは高品質な実演選択に不可欠であることを示す。 8つのマルチモーダル・ベンチマークの実験では、MAGはラベル・スカース・レシエーションにおいて強いベースラインを一貫して上回り、擬似ラベルの予算を限定して大きな利益を達成している。

関連論文リスト

• MMLDSum-LLM: Multimodal Long-Document Summarization with Visual-Alignment and Keyword-Aware [11.787892687988368]
  MMLDSum-Benchはマルチモーダル文書要約のための高品質なベンチマークである。 また,再現可能な2段階トレーニングフレームワークMMLDSum-LLMを提案する。 当社のアプローチはキー情報カバレッジと相互整合性を大幅に改善する。
  論文  参考訳（メタデータ） (2026-07-30T10:54:09Z)
• MAF: Multimodal Adaptive Few-shot Prompting for Sentiment Analysis with MLLMs [0.0]
  感情分析のためのマルチモーダル適応Few-Shot Prompting (MAF) フレームワークを提案する。 MAFはクエリ関連デモを検索して統合し、MLLMの感情推論能力を文脈に敏感な方法で引き出す。 公開ベンチマークデータセットの実験では、MAFが大幅に、一貫したパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2026-06-14T09:16:36Z)
• Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition [51.68340973140949]
  GMNER(Multimodal Named Entity Recognition)は、テキストベースのエンティティを抽出し、セマンティックカテゴリを割り当て、それらを対応する視覚領域に接地することを目的としている。 MLLMは、視覚バイアスやテキストバイアスを含む$textbfmodality bias$を示す。 本稿では,モダリティを考慮した一貫性推論(bfMCR$)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T12:12:49Z)
• Learn to Select: Exploring Label Distribution Divergence for In-Context Demonstration Selection in Text Classification [9.105555204653275]
  テキスト分類のためのインコンテキスト学習(ICL)は、大規模言語モデル(LLM)において印象的な性能を示した。 2段階のデモ選択法であるTopK + Label Distribution Divergence (L2D)を提案する。 これにより、意味的に類似するだけでなく、テスト入力とラベルの分布に一致したデモを選択できる。
  論文  参考訳（メタデータ） (2025-11-10T08:04:14Z)
• MAPLE: Many-Shot Adaptive Pseudo-Labeling for In-Context Learning [53.02571749383208]
  In-Context Learning (ICL)は、大規模言語モデル(LLM)に複数のインプット・アウトプット・サンプルを組み込むことで、多様なタスクに対処する権限を与える。 Many-Shot Adaptive Pseudo-LabEling (MAPLE)は、ラベル情報の欠如を補うために擬似ラベル付きサンプルを利用する新しいインフルエンスベースのマルチショットICLフレームワークである。
  論文  参考訳（メタデータ） (2025-05-22T04:54:27Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels [22.2715520667186]
  クロスモーダル検索(CMR)は、異なるモーダル間の相互作用を確立することを目的としている。 本研究は,ロバスト・クロスモーダル検索のための最適輸送(OT)に基づく統一フレームワークであるUTT-RCLを提案する。 広範に使用されている3つのクロスモーダル検索データセットの実験は、我々のOT-RCLが最先端のアプローチを超越していることを示している。
  論文  参考訳（メタデータ） (2024-03-20T10:34:40Z)
• MMICT: Boosting Multi-Modal Fine-Tuning with In-Context Examples [63.78384552789171]
  本稿では,新しいマルチモーダル微調整パラダイムであるMMICTを紹介する。 M-Hub(Multi-Modal Hub)は,異なる入力や目的に応じて様々なマルチモーダル特徴をキャプチャするモジュールである。 M-Hubに基づいてMMICTは、MM-LLMがコンテキスト内視覚誘導されたテキスト特徴から学習し、その後、テキスト誘導された視覚特徴に基づいて条件付き出力を生成する。
  論文  参考訳（メタデータ） (2023-12-11T13:11:04Z)
• Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models [56.256069117502385]
  Chain of Thought (CoT)アプローチは、複雑な推論タスクにおいて、LLM(Large Language Models)の能力を高めるために使用できる。 しかし、マルチモーダル推論における最適なCoT実例の選択は、まだ検討されていない。 本稿では,この課題に対処する新しい手法として,検索機構を用いて実演例を自動的に選択する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。