論文の概要: Picking the Cream of the Crop: Visual-Centric Data Selection with Collaborative Agents

• arxiv url: http://arxiv.org/abs/2502.19917v1
• Date: Thu, 27 Feb 2025 09:37:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:13.829216
• Title: Picking the Cream of the Crop: Visual-Centric Data Selection with Collaborative Agents
• Title（参考訳）: 作物のクリームの選択:コラボレーションエージェントを用いた視覚中心データ選択
• Authors: Zhenyu Liu, Yunxin Li, Baotian Hu, Wenhan Luo, Yaowei Wang, Min Zhang,
• Abstract要約: textbfVisual-Centric textbfSelection approach by textbfAgents Collaboration (ViSA)を提案する。 提案手法は,(1)視覚エージェントの協調による画像情報定量化手法により,リッチな視覚情報を持つ画像を選択する方法,(2)高品質な画像に関連する高品質な画像を選択する視覚中心の指示品質評価手法からなる。
• 参考スコア（独自算出の注目度）: 62.616106562146776
• License:
• Abstract: To improve Multimodal Large Language Models' (MLLMs) ability to process images and complex instructions, researchers predominantly curate large-scale visual instruction tuning datasets, which are either sourced from existing vision tasks or synthetically generated using LLMs and image descriptions. However, they often suffer from critical flaws, including misaligned instruction-image pairs and low-quality images. Such issues hinder training efficiency and limit performance improvements, as models waste resources on noisy or irrelevant data with minimal benefit to overall capability. To address this issue, we propose a \textbf{Vi}sual-Centric \textbf{S}election approach via \textbf{A}gents Collaboration (ViSA), which centers on image quality assessment and image-instruction relevance evaluation. Specifically, our approach consists of 1) an image information quantification method via visual agents collaboration to select images with rich visual information, and 2) a visual-centric instruction quality assessment method to select high-quality instruction data related to high-quality images. Finally, we reorganize 80K instruction data from large open-source datasets. Extensive experiments demonstrate that ViSA outperforms or is comparable to current state-of-the-art models on seven benchmarks, using only 2.5\% of the original data, highlighting the efficiency of our data selection approach. Moreover, we conduct ablation studies to validate the effectiveness of each component of our method. The code is available at https://github.com/HITsz-TMG/ViSA.
• Abstract（参考訳）: 画像や複雑な命令を処理するためのMLLM(Multimodal Large Language Models)能力を改善するために、研究者は、既存の視覚タスクから派生した大規模な視覚的命令チューニングデータセットを、LLMと画像記述を用いて合成的に生成する。 しかし、それらはしばしば、不整合の命令イメージ対や低品質の画像など、重大な欠陥に悩まされる。 このような問題は、トレーニングの効率を損なうとともに、モデルがノイズや無関係なデータにリソースを浪費し、全体的な能力に最小限の利益をもたらすため、パフォーマンスの改善を制限します。 この問題に対処するため,画像品質評価と画像インストラクション関連性評価を主眼とした \textbf{Vi}sual-Centric \textbf{S}election approach via \textbf{A}gents Collaboration (ViSA) を提案する。 特に我々のアプローチは 1)視覚エージェントによる画像情報定量化手法 2)高品質な画像に関連する高品質な教示データを選択する視覚中心の教示品質評価方法。 最後に、大規模なオープンソースデータセットから80Kの命令データを再構成する。 大規模な実験により、ViSAは7つのベンチマークで現在の最先端モデルよりも優れているか、あるいは同等であることが示された。 さらに,本手法の各成分の有効性を検証するためにアブレーション研究を行った。 コードはhttps://github.com/HITsz-TMG/ViSA.comで公開されている。

関連論文リスト

• Large-Scale Data-Free Knowledge Distillation for ImageNet via Multi-Resolution Data Generation [53.95204595640208]
  Data-Free Knowledge Distillation (DFKD)は、教師モデルから生徒モデルへの知識伝達を可能にする高度な技術である。 従来のアプローチでは、実際の画像の情報を活用することなく、高解像度で合成画像を生成してきた。 MUSEは、クラスアクティベーションマップ(CAM)を使用して、低い解像度で画像を生成し、生成された画像が重要なクラス固有の特徴を保持することを保証する。
  論文  参考訳（メタデータ） (2024-11-26T02:23:31Z)
• CLIC: Contrastive Learning Framework for Unsupervised Image Complexity Representation [4.576994000198904]
  画像の複雑性表現を学習するためのコントラスト学習に基づく教師なしフレームワークCLICを提案する。 この手法はラベルのないデータから画像の複雑さの特徴を学習し、高いラベル付けコストを回避する。 結果は,CLICが画像複雑性表現を効果的に学習できることを示唆している。
  論文  参考訳（メタデータ） (2024-11-19T16:03:14Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• Composed Image Retrieval using Contrastive Learning and Task-oriented CLIP-based Features [32.138956674478116]
  参照画像と相対キャプションからなるクエリが与えられた場合、Composeed Image Retrievalの目的は、参照画像と視覚的に類似した画像を取得することである。 検討されたタスクに対処するために、OpenAI CLIPモデルの機能を使用します。 我々は、バイモーダル情報を統合することで、画像テキスト機能を組み合わせることを学ぶコンビネータネットワークを訓練する。
  論文  参考訳（メタデータ） (2023-08-22T15:03:16Z)
• Semi-Supervised Image Captioning by Adversarially Propagating Labeled Data [95.0476489266988]
  本稿では、画像キャプションモデルの一般化を改善するための、新しいデータ効率半教師付きフレームワークを提案する。 提案手法は,キャプタにペアデータから学習し,段階的に未ペアデータの関連付けを行うよう訓練する。 1)画像ベースと(2)高密度領域ベースキャプションデータセットの両方を総合的かつ包括的な実験結果とし,それに続いて,少ないペアリングデータセットの包括的分析を行った。
  論文  参考訳（メタデータ） (2023-01-26T15:25:43Z)
• MSTRIQ: No Reference Image Quality Assessment Based on Swin Transformer with Multi-Stage Fusion [8.338999282303755]
  本稿では,Swin Transformerに基づく新しいアルゴリズムを提案する。 ローカル機能とグローバル機能の両方から情報を集約して、品質をより正確に予測する。 NTIRE 2022 Perceptual Image Quality Assessment Challengeのノーレファレンストラックで2位。
  論文  参考訳（メタデータ） (2022-05-20T11:34:35Z)
• Mix-up Self-Supervised Learning for Contrast-agnostic Applications [33.807005669824136]
  コントラストに依存しないアプリケーションのための,最初の混合型自己教師型学習フレームワークを提案する。 クロスドメイン・ミックスアップに基づく画像間の低分散に対処し、画像再構成と透明性予測に基づくプレテキストタスクを構築する。
  論文  参考訳（メタデータ） (2022-04-02T16:58:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。