論文の概要: Enabling Small Models for Zero-Shot Classification through Model Label Learning

• arxiv url: http://arxiv.org/abs/2408.11449v1
• Date: Wed, 21 Aug 2024 09:08:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 17:49:48.090309
• Title: Enabling Small Models for Zero-Shot Classification through Model Label Learning
• Title（参考訳）: モデルラベル学習によるゼロショット分類のための小型モデルの構築
• Authors: Jia Zhang, Zhi Zhou, Lan-Zhe Guo, Yu-Feng Li,
• Abstract要約: モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
• 参考スコア（独自算出の注目度）: 50.68074833512999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) like CLIP have demonstrated impressive zero-shot ability in image classification tasks by aligning text and images but suffer inferior performance compared with task-specific expert models. On the contrary, expert models excel in their specialized domains but lack zero-shot ability for new tasks. How to obtain both the high performance of expert models and zero-shot ability is an important research direction. In this paper, we attempt to demonstrate that by constructing a model hub and aligning models with their functionalities using model labels, new tasks can be solved in a zero-shot manner by effectively selecting and reusing models in the hub. We introduce a novel paradigm, Model Label Learning (MLL), which bridges the gap between models and their functionalities through a Semantic Directed Acyclic Graph (SDAG) and leverages an algorithm, Classification Head Combination Optimization (CHCO), to select capable models for new tasks. Compared with the foundation model paradigm, it is less costly and more scalable, i.e., the zero-shot ability grows with the sizes of the model hub. Experiments on seven real-world datasets validate the effectiveness and efficiency of MLL, demonstrating that expert models can be effectively reused for zero-shot tasks. Our code will be released publicly.
• Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)は、テキストと画像の整列によって画像分類タスクにおいて印象的なゼロショット能力を示したが、タスク固有の専門家モデルに比べて性能が劣っている。 それとは対照的に、エキスパートモデルは専門領域では優れているが、新しいタスクに対するゼロショット能力は欠如している。 エキスパートモデルの高性能性とゼロショット能力の両方を得る方法は重要な研究方向である。 本稿では,モデルラベルを用いてモデルハブを構築し,それらの機能とモデルを整合させることで,ハブ内のモデルを効果的に選択・再利用することで,新たなタスクをゼロショットで解決できることを実証する。 モデルラベル学習(MLL)と呼ばれる新しいパラダイムを導入し、セマンティック指向非巡回グラフ(SDAG)を通してモデルと機能間のギャップを埋め、新しいタスクに有効なモデルを選択するアルゴリズムであるCHCOを利用する。 ファンデーションモデルパラダイムと比較すると、コストが安く、スケーラビリティが向上している。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証され、専門家モデルがゼロショットタスクに効果的に再利用できることが実証された。 私たちのコードは公開されます。

関連論文リスト

• NegMerge: Consensual Weight Negation for Strong Machine Unlearning [21.081262106431506]
  機械学習は、モデルから特定の知識を選択的に除去することを目的としている。 現在の手法は、左折セットの微調整モデルに依存し、タスクベクトルを生成し、元のモデルからそれを減算する。 1つのモデルを選択するのではなく、与えられた細調整されたモデルをすべて活用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T00:50:54Z)
• Investigating Self-Supervised Methods for Label-Efficient Learning [27.029542823306866]
  低撮影能力のためのコントラスト学習、クラスタリング、マスク付き画像モデリングなど、さまざまな自己教師付きプレテキストタスクについて検討する。 マスク画像モデリングとクラスタリングの両方をプリテキストタスクとして含むフレームワークを導入する。 実規模データセット上でモデルをテストした場合,マルチクラス分類,マルチラベル分類,セマンティックセマンティックセグメンテーションにおける性能向上を示す。
  論文  参考訳（メタデータ） (2024-06-25T10:56:03Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Revealing the Underlying Patterns: Investigating Dataset Similarity, Performance, and Generalization [0.0]
  教師付きディープラーニングモデルは、特定のタスクで許容可能なパフォーマンスを達成するために、大量のラベル付きデータを必要とする。 モデル動作に関する洞察を得るために、画像イメージ、データセット、画像データセット距離を確立する。
  論文  参考訳（メタデータ） (2023-08-07T13:35:53Z)
• LLM2Loss: Leveraging Language Models for Explainable Model Diagnostics [5.33024001730262]
  我々は、失敗とバイアスのモデルパターンに関するセマンティックな洞察を提供するアプローチを提案する。 このような軽量モデルのアンサンブルを用いて,ブラックボックスモデルの性能に関する洞察を得られることを示す。
  論文  参考訳（メタデータ） (2023-05-04T23:54:37Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
  雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。 我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
  論文  参考訳（メタデータ） (2021-06-20T02:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。