論文の概要: Rethink the Evaluation Protocol of Model Merging on Classification Task

• arxiv url: http://arxiv.org/abs/2412.13526v1
• Date: Wed, 18 Dec 2024 05:53:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:23:43.330057
• Title: Rethink the Evaluation Protocol of Model Merging on Classification Task
• Title（参考訳）: 分類課題におけるモデルマージの評価プロトコルの再考
• Authors: Fanshuang Kong, Richong Zhang, Zhijie Nie, Ziqiao Wang,
• Abstract要約: 出力のマージと微調整による分類器との相違が生じ,効率が低下する。 そこで, FT-Classifierを提案する。このプロトコルは, 調整ミスを軽減するために, 数発のサンプルで整列型分類器を微調整する新しいプロトコルである。 実験では,不整合の有無とFT分類器評価プロトコルの有効性を実証した。
• 参考スコア（独自算出の注目度）: 25.947372455008693
• License:
• Abstract: Model merging combines multiple fine-tuned models into a single one via parameter fusion, achieving improvements across many tasks. However, in the classification task, we find a misalignment issue between merging outputs and the fine-tuned classifier, which limits its effectiveness. In this paper, we demonstrate the following observations: (1) The embedding quality of the merging outputs is already very high, and the primary reason for the differences in classification performance lies in the misalignment issue. (2) We propose FT-Classifier, a new protocol that fine-tunes an aligned classifier with few-shot samples to alleviate misalignment, enabling better evaluation of merging outputs and improved classification performance. (3) The misalignment is relatively straightforward and can be formulated as an orthogonal transformation. Experiments demonstrate the existence of misalignment and the effectiveness of our FT-Classifier evaluation protocol.
• Abstract（参考訳）: モデルマージは、複数の微調整されたモデルをパラメータ融合によって単一のモデルに結合し、多くのタスクで改善が達成される。 しかし、分類タスクでは、出力のマージと、その有効性を制限した微調整型分類器とのミスアライメントの問題が見つかる。 本稿では,(1)マージ出力の埋め込み品質は,すでに非常に高く,分類性能の違いの主な原因は,誤調整の問題にある。 2) FT分類器(FT-Classifier) は, 誤り修正を軽減し, マージ出力の評価が向上し, 分類性能が向上する新しいプロトコルである。 (3) 配向は比較的単純であり、直交変換として定式化することができる。 実験により,不整合の有無とFT分類器評価プロトコルの有効性が示された。

関連論文リスト

• Adaptive Margin Global Classifier for Exemplar-Free Class-Incremental Learning [3.4069627091757178]
  既存の手法は主にバイアス学習を扱うことに焦点を当てている。 本研究では,データ不均衡やサンプリングといった既存手法のバイアス要因を回避するために,分散ベースグローバル(DBGC)を導入する。 さらに重要なのは、古いクラスの妥協された分布は、単純な操作、分散(VE)によってシミュレートされることだ。 この損失は、Adaptive Margin Softmax Cross Entropy (AMarX)と等価であることが証明されている。
  論文  参考訳（メタデータ） (2024-09-20T07:07:23Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
  転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。 モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。 既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。 本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:32Z)
• An Upper Bound for the Distribution Overlap Index and Its Applications [22.92968284023414]
  本稿では,2つの確率分布間の重なり関数に対する計算容易な上限を提案する。 提案した境界は、一級分類と領域シフト解析においてその値を示す。 私たちの研究は、重複ベースのメトリクスの応用を拡大する大きな可能性を示しています。
  論文  参考訳（メタデータ） (2022-12-16T20:02:03Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Multiple Classifiers Based Maximum Classifier Discrepancy for Unsupervised Domain Adaptation [25.114533037440896]
  本稿では、2つの分類器の構造を複数の分類器に拡張し、その性能をさらに向上することを提案する。 平均的に、3つの分類器の構造を採用すると、精度と効率のトレードオフとして最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-02T03:00:13Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Unbiased Subdata Selection for Fair Classification: A Unified Framework and Scalable Algorithms [0.8376091455761261]
  このフレームワーク内の多くの分類モデルが混合整数凸プログラムとして再キャストできることを示した。 そして,提案問題において,分類結果の「解決不能な部分データ選択」が強く解決可能であることを示す。 これにより、分類インスタンスを解決するための反復精錬戦略(IRS)の開発を動機付けます。
  論文  参考訳（メタデータ） (2020-12-22T21:09:38Z)
• Minimum Variance Embedded Auto-associative Kernel Extreme Learning Machine for One-class Classification [1.4146420810689422]
  VAAKELMは、自己連想型カーネル極端学習マシンの拡張である。 アーキテクチャ内に最小分散情報を埋め込んで、クラス内の分散を減らす。 これは、一級分類に対する再構成に基づくアプローチに従い、再構成エラーを最小限にする。
  論文  参考訳（メタデータ） (2020-11-24T17:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。