論文の概要: Multi-method Integration with Confidence-based Weighting for Zero-shot Image Classification

• arxiv url: http://arxiv.org/abs/2405.02155v1
• Date: Fri, 3 May 2024 15:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 12:36:11.016423
• Title: Multi-method Integration with Confidence-based Weighting for Zero-shot Image Classification
• Title（参考訳）: ゼロショット画像分類のための信頼度に基づく重み付けによるマルチメソッド統合
• Authors: Siqi Yin, Lifan Jiang,
• Abstract要約: 本稿では,ゼロショット学習(ZSL)のための新しいフレームワークを提案する。 本稿では,ZSLを扱うためのモデルの性能向上のための3つの戦略を提案する。
• 参考スコア（独自算出の注目度）: 1.7265013728931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel framework for zero-shot learning (ZSL), i.e., to recognize new categories that are unseen during training, by using a multi-model and multi-alignment integration method. Specifically, we propose three strategies to enhance the model's performance to handle ZSL: 1) Utilizing the extensive knowledge of ChatGPT and the powerful image generation capabilities of DALL-E to create reference images that can precisely describe unseen categories and classification boundaries, thereby alleviating the information bottleneck issue; 2) Integrating the results of text-image alignment and image-image alignment from CLIP, along with the image-image alignment results from DINO, to achieve more accurate predictions; 3) Introducing an adaptive weighting mechanism based on confidence levels to aggregate the outcomes from different prediction methods. Experimental results on multiple datasets, including CIFAR-10, CIFAR-100, and TinyImageNet, demonstrate that our model can significantly improve classification accuracy compared to single-model approaches, achieving AUROC scores above 96% across all test datasets, and notably surpassing 99% on the CIFAR-10 dataset.
• Abstract（参考訳）: 本稿では,ゼロショット学習(ZSL, Zero-shot Learning)のための新しいフレームワークを提案する。 具体的には、ZSLを扱うためのモデルの性能を高めるための3つの戦略を提案する。 1)ChatGPTの広範な知識とDALL-Eの強力な画像生成能力を活用して、未確認のカテゴリや分類境界を正確に記述できる参照画像を作成し、情報ボトルネック問題を緩和する。 2)CLIPからのテキスト画像アライメントと画像画像アライメントの結果とDINOのイメージ画像アライメント結果を統合することにより,より正確な予測が可能となる。 3) 信頼度に基づく適応重み付け機構の導入により, 異なる予測手法による結果を集約する。 CIFAR-10、CIFAR-100、TinyImageNetを含む複数のデータセットに対する実験結果から、我々のモデルはシングルモデルアプローチと比較して分類精度を大幅に向上し、AUROCスコアが全テストデータセットで96%以上、CIFAR-10データセットで99%を超えることが示されている。

関連論文リスト

• Raising the Bar of AI-generated Image Detection with CLIP [50.345365081177555]
  本研究の目的は、AI生成画像の普遍的検出のための事前学習された視覚言語モデル(VLM)の可能性を探ることである。 我々は,CLIP機能に基づく軽量な検出戦略を開発し,その性能を様々な難易度シナリオで検証する。
  論文  参考訳（メタデータ） (2023-11-30T21:11:20Z)
• Boosting Visual-Language Models by Exploiting Hard Samples [126.35125029639168]
  HELIPは、既存のCLIPモデルの性能を高めるための費用対効果戦略である。 我々の方法では、既存のモデルのトレーニングパイプラインと懸命に統合できます。 包括的なベンチマークでは、HELIPはパフォーマンス向上のために既存のモデルを継続的に強化する。
  論文  参考訳（メタデータ） (2023-05-09T07:00:17Z)
• Learning Customized Visual Models with Retrieval-Augmented Knowledge [104.05456849611895]
  我々は、ターゲットドメイン用にカスタマイズされたビジュアルモデルを構築するための、関連するWeb知識を取得するためのフレームワークであるREACTを提案する。 我々は、Webスケールデータベースから最も関連性の高い画像テキストペアを外部知識として検索し、元の重みをすべて凍結しながら、新しいモジュール化されたブロックをトレーニングするだけで、モデルをカスタマイズすることを提案する。 REACTの有効性は、ゼロ、少数、フルショット設定を含む分類、検索、検出、セグメンテーションタスクに関する広範な実験を通じて実証される。
  論文  参考訳（メタデータ） (2023-01-17T18:59:06Z)
• Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
  CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。 本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。 本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-04T07:26:24Z)
• One-Time Model Adaptation to Heterogeneous Clients: An Intra-Client and Inter-Image Attention Design [40.97593636235116]
  既存のバックボーン認識モデルに新たなICIIAモジュールを提案する。 特に、特定のクライアントからのターゲット画像が与えられた場合、ICIIAはクライアントの歴史的未ラベル画像から関連画像を取得するために、マルチヘッド自己アテンションを導入する。 ICIIAを5つの代表的なデータセットに対して9つのバックボーンモデルを用いて3つの異なる認識タスクを用いて評価した。
  論文  参考訳（メタデータ） (2022-11-11T15:33:21Z)
• Robust Cross-Modal Representation Learning with Progressive Self-Distillation [7.676408770854477]
  CLIPの視覚言語アプローチの学習目的は、Webハーベスト画像キャプションデータセットに見られるノイズの多い多対多対応を効果的に考慮していない。 本研究では、進行的な自己蒸留とソフトな画像テキストアライメントを用いて、雑音の多いデータから頑健な表現をより効率的に学習するクロスモーダルコントラスト学習に基づく新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-10T03:28:18Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Reconciliation of Statistical and Spatial Sparsity For Robust Image and Image-Set Classification [27.319334479994787]
  分類のための画像や画像セットデータをモデル化するために,textitJ3Sと呼ばれる新しい統計空間スパース表現を提案する。 本稿では,J3Sモデルに基づく結合スパース符号化問題の解法を提案する。 実験の結果,提案手法はFMD, UIUC, ETH-80, YTCデータベース上での競合手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2021-06-01T06:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。