論文の概要: Fine-tuning Aligned Classifiers for Merging Outputs: Towards a Superior Evaluation Protocol in Model Merging

• arxiv url: http://arxiv.org/abs/2412.13526v2
• Date: Mon, 24 Feb 2025 02:35:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 18:15:43.71545
• Title: Fine-tuning Aligned Classifiers for Merging Outputs: Towards a Superior Evaluation Protocol in Model Merging
• Title（参考訳）: マージ出力のための微調整アライメント分類器:モデルマージにおける上位評価プロトコルを目指して
• Authors: Fanshuang Kong, Richong Zhang, Zhijie Nie, Ziqiao Wang, Qiang Sun,
• Abstract要約: そこで本研究では,数発の未ラベルサンプルで整列型分類器を微調整するプロトコルFT-Classifierを提案する。 これらの観測結果に基づいて,数発の未ラベルサンプルで整列型分類器を微調整する新しいプロトコルFT-Classifierを提案する。
• 参考スコア（独自算出の注目度）: 25.971290900574875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging combines multiple fine-tuned models into a single one via parameter fusion, achieving improvements across many tasks. However, in the classification task, we find a misalignment issue between merging outputs and the fine-tuned classifier, which limits its effectiveness. In this paper, we first demonstrate the following observations: (1) Merging outputs exhibit the comparable cluster effect with fine-tuned outputs, and already contain necessary classification information; (2) The misalignment between merging outputs and the fine-tuned classifier can converge to an orthogonal transformation, and alleviating this misalignment can significantly enhance the performance of merging models. Based on these observations, we then propose a new protocol FT-Classifier, which fine-tunes an aligned classifier with few-shot unlabeled samples, enabling better evaluation of merging methods and improved classification performance.
• Abstract（参考訳）: モデルマージは、複数の微調整されたモデルをパラメータ融合によって単一のモデルに結合し、多くのタスクで改善が達成される。 しかし、分類タスクでは、出力のマージと、その有効性を制限した微調整型分類器とのミスアライメントの問題が見つかる。 本稿では,(1)マージ出力が細調整された出力と同等のクラスタ効果を示し,既に必要な分類情報を含んでいること,(2)マージ出力と細調整された分類器とのミスアライメントは直交変換に収束し,このミスアライメントを緩和することでマージモデルの性能を大幅に向上させることができること,を示す。 これらの観測結果に基づいて,数発の未ラベルサンプルで整列型分類器を微調整し,マージ手法の精度向上と分類性能の向上を実現した新しいプロトコルFT分類器を提案する。

関連論文リスト

• Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
  わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。 本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。 本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
  論文  参考訳（メタデータ） (2025-03-28T07:23:07Z)
• Adaptive Margin Global Classifier for Exemplar-Free Class-Incremental Learning [3.4069627091757178]
  既存の手法は主にバイアス学習を扱うことに焦点を当てている。 本研究では,データ不均衡やサンプリングといった既存手法のバイアス要因を回避するために,分散ベースグローバル(DBGC)を導入する。 さらに重要なのは、古いクラスの妥協された分布は、単純な操作、分散(VE)によってシミュレートされることだ。 この損失は、Adaptive Margin Softmax Cross Entropy (AMarX)と等価であることが証明されている。
  論文  参考訳（メタデータ） (2024-09-20T07:07:23Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• IDoFew: Intermediate Training Using Dual-Clustering in Language Models for Few Labels Text Classification [24.11420537250414]
  変換器からの双方向表現(BERT)は、自然言語処理(NLP)やテキスト分類を含むテキストマイニングタスクにおいて非常に効果的である。 いくつかのタスクは、制限付きラベル付きテキスト分類など、これらのモデルに依然として課題を生じさせる。 擬似ラベルを確実にモデル化する2段階の中間クラスタリングを開発した。
  論文  参考訳（メタデータ） (2024-01-08T17:07:37Z)
• Lp-Norm Constrained One-Class Classifier Combination [18.27510863075184]
  アンサンブルの空間/均一性をモデル化し,一級分類問題を考える。 定式化凸制約問題の解法を効果的に提案する。
  論文  参考訳（メタデータ） (2023-12-25T16:32:34Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• Robust Twin Parametric Margin Support Vector Machine for Multiclass Classification [0.0]
  本稿では,マルチクラス分類の問題に対処するために,Twin Parametric Margin Support Vector Machine (TPMSVM) モデルを提案する。 各サンプルの周囲に有界・ノルム不確実性集合を構築し,決定論的モデルの頑健な対応を導出する。 提案したTPMSVM手法を実世界のデータセット上でテストし,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-09T19:27:24Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
  転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。 モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。 既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。 本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:32Z)
• Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision [75.1860418333995]
  Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。 PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。 既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
  論文  参考訳（メタデータ） (2022-10-06T07:28:53Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Beyond mAP: Towards better evaluation of instance segmentation [23.562251593257674]
  平均精度は、ハイリコール範囲における重複予測をペナルティ化しない。 本研究では,空間的およびカテゴリー的両方の重複予測の量を明示的に測定する2つの新しい手法を提案する。 当社のセマンティックソーティングとNMSは,ヘッジド予測を緩和し,APを保存するためのプラグイン・アンド・プレイモジュールとして追加することができる。
  論文  参考訳（メタデータ） (2022-07-04T17:56:14Z)
• Evolving Multi-Label Fuzzy Classifier [5.53329677986653]
  マルチラベル分類は、同時に複数のクラスに1つのサンプルを割り当てるという問題に対処するために、機械学習コミュニティで多くの注目を集めている。 本稿では,新たなマルチラベルサンプルをインクリメンタルかつシングルパスで自己適応・自己展開可能な多ラベルファジィ分類器(EFC-ML)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:01:03Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• A Multiple Classifier Approach for Concatenate-Designed Neural Networks [13.017053017670467]
  私たちは、ネットワークセット間で生成された特徴を収集する分類器の設計を与えます。 我々はL2正規化法を用いて、Softmax Denseの代わりに分類スコアを得る。 その結果、提案された分類器は実験ケースの精度を向上させることができる。
  論文  参考訳（メタデータ） (2021-01-14T04:32:40Z)
• Unbiased Subdata Selection for Fair Classification: A Unified Framework and Scalable Algorithms [0.8376091455761261]
  このフレームワーク内の多くの分類モデルが混合整数凸プログラムとして再キャストできることを示した。 そして,提案問題において,分類結果の「解決不能な部分データ選択」が強く解決可能であることを示す。 これにより、分類インスタンスを解決するための反復精錬戦略(IRS)の開発を動機付けます。
  論文  参考訳（メタデータ） (2020-12-22T21:09:38Z)
• Minimum Variance Embedded Auto-associative Kernel Extreme Learning Machine for One-class Classification [1.4146420810689422]
  VAAKELMは、自己連想型カーネル極端学習マシンの拡張である。 アーキテクチャ内に最小分散情報を埋め込んで、クラス内の分散を減らす。 これは、一級分類に対する再構成に基づくアプローチに従い、再構成エラーを最小限にする。
  論文  参考訳（メタデータ） (2020-11-24T17:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。