論文の概要: Decompose, Compare, and Decide: Multimodal LLMs are Implicit Few-Shot Learners

• arxiv url: http://arxiv.org/abs/2607.00125v1
• Date: Tue, 30 Jun 2026 20:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.614105
• Title: Decompose, Compare, and Decide: Multimodal LLMs are Implicit Few-Shot Learners
• Title（参考訳）: 分解, 比較, 決定:マルチモーダル LLM は暗黙的な数ショット学習者である
• Abstract要約: DeCoDeは、既製のMLLMを、追加のトレーニングなしで強力な数発の分類器として機能させる、シンプルで効果的なテクニックである。 我々のアプローチは、ペア画像比較の集合として、少数ショット分類という概念に基づいており、タスクをバイナリ決定の集合に分解する。 以上の結果から,本提案手法は,既成のMLLMを強力な数発学習者へと切り離すことができることがわかった。
• 参考スコア（独自算出の注目度）: 32.73186456114494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) have demonstrated remarkable abilities when analyzing images, yet translating these capabilities to few-shot image classification remains challenging. To bridge this gap, we present DeCoDe, a simple yet effective technique that enables off-the-shelf MLLMs to act as strong few-shot classifiers without any additional training. Our approach builds on the idea of few-shot classification as a set of pairwise image comparisons, decomposing the task into a set of binary decisions. Given a query image and a support image from a candidate class, the MLLM is prompted to decide whether the two images depict the same class. The logit corresponding to an affirmative response is then used as a similarity score to assign the query image to the most likely class. While this already yields good results, we show that providing additional high-level information, such as the data domain, to the model further improves performance. Our evaluation provides an extensive analysis of various inference variants on a suite of twelve datasets, six established and six newly curated few-shot benchmarks spanning across diverse domains. The results show that the proposed simple decomposition technique can turn off-the-shelf MLLMs into powerful few-shot learners, significantly outperforming current state-of-the-art few-shot methods on both standard and novel domains. Code is available at https://github.com/yunhanwang1105/DeCoDe.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、画像解析において顕著な能力を示したが、これらの能力を少数の画像分類に翻訳することは依然として困難である。 このギャップを埋めるために,既製のMLLMを付加訓練なしで強力な数ショット分類器として機能させる,シンプルで効果的な手法であるDeCoDeを提案する。 我々のアプローチは、ペア画像比較の集合として、少数ショット分類という概念に基づいており、タスクをバイナリ決定の集合に分解する。 候補クラスからクエリ画像とサポート画像が与えられた後、MLLMは2つの画像が同じクラスを描いているかを判断するよう促される。 次に、肯定応答に対応するロジットを類似度スコアとして使用して、クエリイメージを最も可能性が高いクラスに割り当てる。 これは既に良い結果をもたらすが、モデルにデータドメインなどの付加的な高レベル情報を提供することにより、パフォーマンスがさらに向上することを示す。 評価では,12のデータセット,6つの確立された6つの新しいベンチマーク,および6つの異なる領域にまたがる新規にキュレートされた数ショットベンチマークを用いて,様々な推論のバリエーションを広範囲に分析する。 その結果,本提案手法は,既成のMLLMを,標準領域と新規領域の両方において,現在最先端のMLLMよりもはるかに優れた数ショット学習者へと切り換えることが可能であることが示唆された。 コードはhttps://github.com/yunhanwang1105/DeCoDeで入手できる。

関連論文リスト

• Indexing Multimodal Language Models for Large-scale Image Retrieval [15.19064519873711]
  MLLM(Multimodal Large Language Models)は、強力なクロスモーダル推論能力を示しているが、視覚のみのタスクの可能性はまだ未定である。 本研究では,MLLMをインスタンスレベルの画像・画像検索のための訓練不要類似度推定器として検討する。 提案手法は,画像のペア化を促進し,次点確率を類似度スコアに変換し,大規模検索パイプライン内でゼロショットの再ランク付けを可能にする。
  論文  参考訳（メタデータ） (2026-04-14T19:59:36Z)
• More Images, More Problems? A Controlled Analysis of VLM Failure Modes [80.64323947730905]
  大規模視覚言語モデル (LVLM) は目覚ましい能力を示しているが、複数の画像に対する理解と推論の能力は未解明のままである。 LVLMのマルチイメージ能力を厳格に評価する新しいベンチマークMIMICを紹介する。
  論文  参考訳（メタデータ） (2026-01-12T18:45:13Z)
• Zero-Shot Fine-Grained Image Classification Using Large Vision-Language Models [4.499940819352075]
  LVLM(Large Vision-Language Models)は、視覚言語推論タスクにおいて顕著な性能を示す。 ゼロショットのきめ細かい画像分類を視覚的問合せフレームワークに変換する新しい手法を提案する。 提案手法は現状のSOTA(State-of-the-art)手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-10-04T18:56:41Z)
• Chain-of-Thought Re-ranking for Image Retrieval Tasks [16.13448876168839]
  そこで我々は,画像検索に対処する新しいChain-of-Thought Re-Ranking(CoTRR)手法を提案する。 MLLMがリストワイズ推論を行えるようにすることで,グローバル比較,一貫した推論,解釈可能な意思決定をサポートする。 提案手法は,テキスト・トゥ・イメージ検索(TIR),合成画像検索(CIR),チャットベースの画像検索(Chat-IR)など,3つの画像検索タスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-09-18T08:48:46Z)
• MIBench: Evaluating Multimodal Large Language Models over Multiple Images [70.44423964171088]
  マルチイメージシナリオにおけるMLLMの微粒化能力を包括的に評価する新しいベンチマークMIBenchを提案する。 具体的には、MIBenchはマルチモーダル・インコンテクスト・ラーニング(MIC)とマルチモーダル・インコンテクスト・ラーニング(MIC)の3つのシナリオに分類する。 その結果、現在のモデルでは単一画像のタスクが優れているが、複数画像の入力に直面すると大きな欠点が現れることがわかった。
  論文  参考訳（メタデータ） (2024-07-21T21:22:58Z)
• What Do You See? Enhancing Zero-Shot Image Classification with Multimodal Large Language Models [11.683093317651517]
  大規模言語モデル(LLM)は、画像分類を含む多くのコンピュータビジョンタスクに効果的に使用されている。 マルチモーダルLCMを用いたゼロショット画像分類法を提案する。 この結果は,複数のデータセットのベンチマーク精度を上回り,その顕著な効果を示した。
  論文  参考訳（メタデータ） (2024-05-24T16:05:15Z)
• Advancing Image Retrieval with Few-Shot Learning and Relevance Feedback [5.770351255180495]
  Image Retrieval with Relevance Feedback (IRRF) は、検索プロセス中に反復的なヒューマンインタラクションを伴う。 本稿では,タスクに適したハイパーネットワークに基づく新しいスキームを提案し,ユーザフィードバックの迅速な調整を容易にする。 提案手法は,数発の1クラス分類でSoTAを達成でき,数発のオープンセット認識のバイナリ分類タスクで同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-12-18T10:20:28Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)
• Self-Supervised Open-Ended Classification with Small Visual Language Models [60.23212389067007]
  我々は、小さな視覚言語モデルを用いたオープンエンド分類のための数ショットの能力を解放する自己教師型アプローチであるSeCAtを提案する。 約1Bパラメータを持つモデルを使用することで、FrozenやBrobAGeといった、はるかに大きなモデルの少数ショット能力より優れています。
  論文  参考訳（メタデータ） (2023-09-30T21:41:21Z)
• Cap2Aug: Caption guided Image to Image data Augmentation [41.53127698828463]
  Cap2Augは、画像キャプションをテキストプロンプトとして使用する画像から画像への拡散モデルに基づくデータ拡張戦略である。 限られた訓練画像からキャプションを生成し,これらのキャプションを用いて画像間安定拡散モデルを用いてトレーニング画像を編集する。 この戦略は、トレーニング画像に似た画像の拡張バージョンを生成するが、サンプル全体にわたって意味的な多様性を提供する。
  論文  参考訳（メタデータ） (2022-12-11T04:37:43Z)
• Few-Shot Learning with Part Discovery and Augmentation from Unlabeled Images [79.34600869202373]
  帰納的バイアスは、ラベルなし画像の平坦な集合から学習でき、目に見えるクラスと目に見えないクラスの間で伝達可能な表現としてインスタンス化されることを示す。 具体的には、トランスファー可能な表現を学習するための、新しいパートベース自己教師型表現学習手法を提案する。 我々の手法は印象的な結果をもたらし、それまでの最高の教師なし手法を7.74%、9.24%上回った。
  論文  参考訳（メタデータ） (2021-05-25T12:22:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。