論文の概要: K-means Clustering Based Feature Consistency Alignment for Label-free Model Evaluation

• arxiv url: http://arxiv.org/abs/2304.09758v1
• Date: Mon, 17 Apr 2023 06:33:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 13:55:43.911369
• Title: K-means Clustering Based Feature Consistency Alignment for Label-free Model Evaluation
• Title（参考訳）: K平均クラスタリングに基づくラベルフリーモデル評価のための特徴整合
• Authors: Shuyu Miao and Lin Zheng and Jingjing Liu and and Hong Jin
• Abstract要約: 本稿では,CVPR 2023における第1回DataCV Challenge of the Visual Understandingデータセットワークショップのソリューションについて述べる。 まず,K-means Clustering Based Feature Consistency Alignment (KCFCA) という手法を提案する。 第2に,分布の変化とモデル精度の関係を捉える動的回帰モデルを開発する。 第三に、外乱モデル因子を発見し、外乱モデルを排除するアルゴリズムを設計し、複数のオートエスバルモデルの強みを組み合わせる。
• 参考スコア（独自算出の注目度）: 12.295565506212844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The label-free model evaluation aims to predict the model performance on various test sets without relying on ground truths. The main challenge of this task is the absence of labels in the test data, unlike in classical supervised model evaluation. This paper presents our solutions for the 1st DataCV Challenge of the Visual Dataset Understanding workshop at CVPR 2023. Firstly, we propose a novel method called K-means Clustering Based Feature Consistency Alignment (KCFCA), which is tailored to handle the distribution shifts of various datasets. KCFCA utilizes the K-means algorithm to cluster labeled training sets and unlabeled test sets, and then aligns the cluster centers with feature consistency. Secondly, we develop a dynamic regression model to capture the relationship between the shifts in distribution and model accuracy. Thirdly, we design an algorithm to discover the outlier model factors, eliminate the outlier models, and combine the strengths of multiple autoeval models. On the DataCV Challenge leaderboard, our approach secured 2nd place with an RMSE of 6.8526. Our method significantly improved over the best baseline method by 36\% (6.8526 vs. 10.7378). Furthermore, our method achieves a relatively more robust and optimal single model performance on the validation dataset.
• Abstract（参考訳）: ラベルフリーモデル評価は, 基礎的事実に頼ることなく, 様々なテストセット上でのモデル性能を予測することを目的としている。 このタスクの主な課題は、従来の教師付きモデル評価とは異なり、テストデータにラベルがないことである。 本稿では, cvpr 2023 の visual dataset understanding workshop の第1回 datacv challenge のソリューションについて述べる。 まず,k-meansクラスタリングに基づく特徴整合性アライメント(kcfca)と呼ばれる新しい手法を提案する。 KCFCAはK平均アルゴリズムを用いてラベル付きトレーニングセットとラベルなしテストセットをクラスタ化し、クラスタセンターに特徴整合性を持たせる。 次に,分布の変化とモデルの精度の関係を捉える動的回帰モデルを開発した。 第三に、外乱モデル因子を発見し、外乱モデルを排除するアルゴリズムを設計し、複数の自己回帰モデルの強みを組み合わせる。 DataCV Challengeのリーダーボードでは、RMSEが6.8526で2位になった。 本手法は,最良ベースライン法より36\%改善した(6.8526対10.7378)。 さらに,本手法は,検証データセット上で比較的堅牢で最適な単一モデル性能を実現する。

関連論文リスト

• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Importance of Disjoint Sampling in Conventional and Transformer Models for Hyperspectral Image Classification [2.1223532600703385]
  本稿では、ハイパースペクトル画像分類(HSIC)タスク上でSOTAモデルをトレーニングするための革新的な不整合サンプリング手法を提案する。 重なりのないトレーニング,検証,テストデータを分離することにより,提案手法は,トレーニングや検証中に露出していないピクセルをどの程度正確に分類できるかを,より公平に評価することができる。 この厳密な手法は、SOTAモデルの発展と、ハイパースペクトルセンサーを用いた大規模陸地マッピングへの実際の応用に欠かせない。
  論文  参考訳（メタデータ） (2024-04-23T11:40:52Z)
• Bayesian Exploration of Pre-trained Models for Low-shot Image Classification [14.211305168954594]
  本研究はガウス過程に基づくシンプルで効果的な確率的モデルアンサンブルフレームワークを提案する。 平均関数をCLIPとカーネル関数で指定することで,事前知識の統合を実現する。 提案手法は,予測性能に関する競争アンサンブルベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-03-30T10:25:28Z)
• Self-supervised co-salient object detection via feature correspondence at multiple scales [27.664016341526988]
  本稿では,画像群における2段階の自己教師型手法を用いて,セグメンテーションアノテーションを必要とせず,共起性有色物体(CoSOD)を検出する手法を提案する。 我々は、画像間の局所パッチレベルの特徴対応を計算し、コサレント領域を検出する自己教師ネットワークを訓練する。 3つのCoSODベンチマークデータセットの実験では、我々のモデルは、対応する最先端モデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2024-03-17T06:21:21Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• K-ARMA Models for Clustering Time Series Data [4.345882429229813]
  K-Meansアルゴリズムのモデルベース一般化を用いた時系列データのクラスタリング手法を提案する。 クラスタリングアルゴリズムは,不確実な偏差基準を用いて,アウトレーヤに対して頑健にすることができることを示す。 我々は,時系列クラスタリングタスクにおいて,本手法が既存の手法と競合することを示す実データ実験を行った。
  論文  参考訳（メタデータ） (2022-06-30T18:16:11Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。