論文の概要: Beyond CNNs: Efficient Fine-Tuning of Multi-Modal LLMs for Object Detection on Low-Data Regimes

• arxiv url: http://arxiv.org/abs/2510.08589v1
• Date: Fri, 03 Oct 2025 18:53:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.004377
• Title: Beyond CNNs: Efficient Fine-Tuning of Multi-Modal LLMs for Object Detection on Low-Data Regimes
• Title（参考訳）: CNNを超えて:低データレジームにおけるオブジェクト検出のための多モードLLMの効率的な微調整
• Authors: Nirmal Elamon, Rouzbeh Davoudi,
• Abstract要約: 我々は,画像中の人工テキストオーバーレイ検出の課題に対して,従来のCNN,ゼロショット事前訓練型マルチモーダルLLM,微調整型マルチモーダルLLMを比較した。 本研究の重要な貢献は,LLMを極めて限られたデータで効果的に微調整し,最大36%の精度向上を達成できることである。 私たちの研究は、ビジョンと言語をブリッジし、効率的なクロスモーダル学習戦略に関する新たな洞察を提供するという、より広範な取り組みに寄与します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of object detection and understanding is rapidly evolving, driven by advances in both traditional CNN-based models and emerging multi-modal large language models (LLMs). While CNNs like ResNet and YOLO remain highly effective for image-based tasks, recent transformer-based LLMs introduce new capabilities such as dynamic context reasoning, language-guided prompts, and holistic scene understanding. However, when used out-of-the-box, the full potential of LLMs remains underexploited, often resulting in suboptimal performance on specialized visual tasks. In this work, we conduct a comprehensive comparison of fine-tuned traditional CNNs, zero-shot pre-trained multi-modal LLMs, and fine-tuned multi-modal LLMs on the challenging task of artificial text overlay detection in images. A key contribution of our study is demonstrating that LLMs can be effectively fine-tuned on very limited data (fewer than 1,000 images) to achieve up to 36% accuracy improvement, matching or surpassing CNN-based baselines that typically require orders of magnitude more data. By exploring how language-guided models can be adapted for precise visual understanding with minimal supervision, our work contributes to the broader effort of bridging vision and language, offering novel insights into efficient cross-modal learning strategies. These findings highlight the adaptability and data efficiency of LLM-based approaches for real-world object detection tasks and provide actionable guidance for applying multi-modal transformers in low-resource visual environments. To support continued progress in this area, we have made the code used to fine-tune the models available in our GitHub, enabling future improvements and reuse in related applications.
• Abstract（参考訳）: オブジェクト検出と理解の分野は、従来のCNNベースのモデルと、新たなマルチモーダルな大規模言語モデル(LLM)の進歩によって、急速に進化している。 ResNetやYOLOのようなCNNは画像ベースのタスクには依然として有効だが、最近のトランスフォーマーベースのLLMでは動的コンテキスト推論、言語誘導プロンプト、全体的シーン理解といった新機能が導入されている。 しかし、アウト・オブ・ザ・ボックスを使用する場合、LLMの潜在能力は未公開のままであり、しばしば特殊な視覚的タスクに対する準最適性能をもたらす。 本研究では,画像中の人工テキストオーバーレイ検出の課題に対して,従来型CNN,ゼロショット事前訓練型マルチモーダルLLM,微調整型マルチモーダルLLMの総合的な比較を行う。 我々の研究の重要な貢献は、LLMを非常に限られたデータ(1,000枚以下の画像)で効果的に微調整し、最大36%の精度向上、CNNベースのベースラインの整合性、あるいは超越性を達成できることである。 最小限の監督下で、言語誘導モデルがどのように正確な視覚的理解に適応できるかを探求することによって、私たちの研究は、視覚と言語をブリッジすることで、効率的なクロスモーダル学習戦略に対する新たな洞察を提供する、より広範な取り組みに貢献します。 これらの知見は、LLMに基づく実世界のオブジェクト検出タスクへの適応性とデータ効率を強調し、低リソースの視覚環境にマルチモーダルトランスフォーマーを適用するための実用的なガイダンスを提供する。 この領域の継続的な進歩をサポートするため、私たちは、GitHubで利用可能なモデルを微調整するために使用するコードを作成し、関連するアプリケーションで将来の改善と再利用を可能にしました。

関連論文リスト

• True Multimodal In-Context Learning Needs Attention to the Visual Context [69.63677595066012]
  MLLM(Multimodal Large Language Models)は、新しいタスクに適応したMICL(Multimodal In-Context Learning)を実現する。 現在のMLLMは、視覚的手がかりを無視し、テキストパターンを過度に無視する傾向にあり、真のマルチモーダル適応よりも単なるテキスト模倣に繋がる。 視覚的コンテキストへのモデルへの参加を促す,効率的な微調整戦略であるDynamic Attention Reallocation (DARA)を紹介した。
  論文  参考訳（メタデータ） (2025-07-21T17:08:18Z)
• Visual RAG: Expanding MLLM visual knowledge without fine-tuning [5.341192792319891]
  本稿では、文脈から学習するMLLMの機能と検索機構を相乗的に組み合わせたVisual RAGを紹介する。 このようにして、得られたシステムは、トレーニングデータから抽出した知識に限らず、微調整なしで、迅速かつ容易に更新できる。 モデル画像分類性能を改善するための計算コストを大幅に削減し、トレーニングされていない新しい視覚領域やタスクにモデル知識を拡大する。
  論文  参考訳（メタデータ） (2025-01-18T17:43:05Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Rethinking VLMs and LLMs for Image Classification [6.550471260627169]
  大きな言語モデル(LLM)は、新しい機能を実現するために、Visual Language Models(VLM)と統合されつつある。 オブジェクト認識やシーン認識では,LLMを使わないVLMの方が,VLMよりも優れた性能が得られることを示す。 本稿では,視覚的タスクをタスクに適したモデルに効率的にルーティングする,比較的小さなLCMを含む軽量な修正法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T23:40:21Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)
• Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics [32.123919380959485]
  MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。 マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。 LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2023-09-13T17:57:21Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。