論文の概要: ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2210.09236v1
• Date: Mon, 17 Oct 2022 16:31:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 16:02:05.755781
• Title: ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization
• Title（参考訳）: zood: アウト・オブ・ディストリビューション・ジェネライゼーションのためのモデル動物園
• Authors: Qishi Dong, Awais Muhammad, Fengwei Zhou, Chuanlong Xie, Tianyang Hu, Yongxin Yang, Sung-Ho Bae, Zhenguo Li
• Abstract要約: PTMのランク付けと特徴選択によるアンサンブルのためのパラダイムであるZooDを提案する。 我々は,多様なアウト・オブ・ディストリビューション(OoD)タスクのための35のモデルからなる多様なモデル動物園において,我々のパラダイムを評価する。
• 参考スコア（独自算出の注目度）: 65.58562481279023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances on large-scale pre-training have shown great potentials of leveraging a large set of Pre-Trained Models (PTMs) for improving Out-of-Distribution (OoD) generalization, for which the goal is to perform well on possible unseen domains after fine-tuning on multiple training domains. However, maximally exploiting a zoo of PTMs is challenging since fine-tuning all possible combinations of PTMs is computationally prohibitive while accurate selection of PTMs requires tackling the possible data distribution shift for OoD tasks. In this work, we propose ZooD, a paradigm for PTMs ranking and ensemble with feature selection. Our proposed metric ranks PTMs by quantifying inter-class discriminability and inter-domain stability of the features extracted by the PTMs in a leave-one-domain-out cross-validation manner. The top-K ranked models are then aggregated for the target OoD task. To avoid accumulating noise induced by model ensemble, we propose an efficient variational EM algorithm to select informative features. We evaluate our paradigm on a diverse model zoo consisting of 35 models for various OoD tasks and demonstrate: (i) model ranking is better correlated with fine-tuning ranking than previous methods and up to 9859x faster than brute-force fine-tuning; (ii) OoD generalization after model ensemble with feature selection outperforms the state-of-the-art methods and the accuracy on most challenging task DomainNet is improved from 46.5\% to 50.6\%. Furthermore, we provide the fine-tuning results of 35 PTMs on 7 OoD datasets, hoping to help the research of model zoo and OoD generalization. Code will be available at https://gitee.com/mindspore/models/tree/master/research/cv/zood.
• Abstract（参考訳）: 近年の大規模事前学習の進歩は、複数の訓練領域を微調整した後、起こりうる未確認領域でうまく機能することを目的として、OoD(Out-of-Distribution)の一般化を改善するために、大量の事前学習モデル(PTM)を活用する大きな可能性を示している。 しかし、PTMのすべての組み合わせを微調整することは計算的に禁止され、正確な選択はOoDタスクのデータ分散シフトに対処する必要があるため、PTMの動物園を最大限に活用することは困難である。 本研究では,PTMのランク付けと特徴選択によるアンサンブルのためのパラダイムであるZooDを提案する。 提案手法は,PTMが抽出した特徴のクラス間識別性とドメイン間安定性を,各ドメイン間の相互検証により定量化する。 上位Kランクのモデルは、対象のOoDタスクに集約される。 モデルアンサンブルによる雑音の蓄積を避けるため,情報的特徴量を選択するための効率的な変分emアルゴリズムを提案する。 様々なOoDタスクのための35のモデルからなる多様なモデル動物園において、我々のパラダイムを評価する。 (i)モデルランキングは、従来の方法よりも微調整ランキングと相関が良く、ブルートフォース微調整よりも最大9859倍速い。 (ii)特徴選択によるモデルアンサンブル後のood一般化は最先端手法よりも優れており、最も挑戦的なタスクドメインネットの精度は46.5\%から50.6\%に向上する。 さらに,7つのoodデータセット上での35ptmsの微調整結果を提供し,モデル動物園とood一般化の研究を支援する。 コードはhttps://gitee.com/mindspore/models/tree/master/research/cv/zoodで入手できる。

関連論文リスト

• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• FissionFusion: Fast Geometric Generation and Hierarchical Souping for Medical Image Analysis [0.7751705157998379]
  十分に注釈付けされた医療データセットの不足は、ImageNetのような広範なデータセットやCLIPのような事前訓練されたモデルからの移行学習を活用する必要がある。 モデルスープは、In-Domain(ID)タスクのパフォーマンスを改善し、out-of-Distribution(OOD)データセットに対する堅牢性を高めることを目的とした、複数の微調整されたモデルの平均である。 本稿では,様々なレベルのモデルの局所的および大域的集約を伴う階層的統合手法を提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:48:48Z)
• Pruning Large Language Models via Accuracy Predictor [0.0]
  数十億のパラメータ(あるいはそれ以上)を含む大規模言語モデル(LLM)は、様々なNLPタスクにおいて印象的な機能を示している。 まず,一定の数のアーキテクチャと精度のペアのトレーニングセットを構築し,非ニューラルネットワークモデルを精度予測器として訓練する。
  論文  参考訳（メタデータ） (2023-09-18T06:38:24Z)
• Model Spider: Learning to Rank Pre-Trained Models Efficiently [42.56392378060269]
  モデルスパイダーはトークンを構築し、トークンを介してモデルとタスクのペア間の適合度スコアを測定することを学ぶ。 モデルスパイダーは効率と選択能力のバランスをとり、ウェブ上でクモを捕食するようにPTMの選択を行う。
  論文  参考訳（メタデータ） (2023-06-06T17:58:12Z)
• Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
  ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。 ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-11T16:32:28Z)
• An Automated Question-Answering Framework Based on Evolution Algorithm [19.054115603616513]
  複数のデータセットに対してネットワークアーキテクチャを調整可能な自動質問応答フレームワークを提案する。 本フレームワークはSQuAD 1.1では78.9 EM,86.1 F1,SQuAD 2.0では69.9 EM,72.5 F1を実現している。
  論文  参考訳（メタデータ） (2022-01-26T08:13:24Z)
• Training Experimentally Robust and Interpretable Binarized Regression Models Using Mixed-Integer Programming [3.179831861897336]
  マルチクラス分類タスクに対するロバストかつ解釈可能な二項化回帰モデルをトレーニングするためのモデルに基づくアプローチを提案する。 MIPモデルは、重み付けされた目的を用いて予測マージンとモデルサイズを最適化する。 MIPを用いた頑健かつ解釈可能な二項化回帰モデルのトレーニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-12-01T11:53:08Z)
• Ensemble of Averages: Improving Model Selection and Boosting Performance in Domain Generalization [63.28279815753543]
  ドメイン一般化(Domain Generalization, DG)設定では、特定のトレーニングドメインセットでトレーニングされたモデルが、シフトしたテストドメイン上でのカオスなパフォーマンスで悪名高い。 まず、モデルパラメータを最適化パスに沿って平均化する単純なプロトコルが、トレーニングの初期段階から始まって、ドメインの一般化性を大幅に向上させることを示す。 独立に訓練されたモデルのアンサンブルもまた、DG設定においてカオスな振る舞いを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-21T00:08:17Z)
• Ranking and Tuning Pre-trained Models: A New Paradigm of Exploiting Model Hubs [136.4492678691406]
  本稿では,事前学習したモデルのランク付けとチューニングにより,モデルハブを利用する新しいパラダイムを提案する。 最高のランク付けされたPTMは、モデルのアーキテクチャを好まない場合は、微調整とデプロイが可能です。 チューニング部は、専用メソッドを超越した、複数 PTM チューニングのための新しい手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T12:59:23Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。