論文の概要: Label Set Optimization via Activation Distribution Kurtosis for Zero-shot Classification with Generative Models

• arxiv url: http://arxiv.org/abs/2410.19195v1
• Date: Thu, 24 Oct 2024 22:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:37:01.434755
• Title: Label Set Optimization via Activation Distribution Kurtosis for Zero-shot Classification with Generative Models
• Title（参考訳）: 生成モデルを用いたゼロショット分類のための活性化分布クルトーシスによるラベルセット最適化
• Authors: Yue Li, Zhixue Zhao, Carolina Scarton,
• Abstract要約: In-context Learning (ICL) のパフォーマンスは、迅速な設計に敏感だが、ゼロショット分類におけるクラスラベルオプションの影響は概ね見過ごされている。 本研究は,ラベルオプションがゼロショットICL分類性能にどのように影響するかを総合的に調査した最初の事例である。
• 参考スコア（独自算出の注目度）: 10.699636123243138
• License:
• Abstract: In-context learning (ICL) performance is known to be sensitive to the prompt design, yet the impact of class label options in zero-shot classification has been largely overlooked. This study presents the first comprehensive empirical study investigating how label option (e.g., lexical choice, order, and elaboration) influences zero-shot ICL classification performance. Our findings reveal that lexical choices for label names (e.g., agree vs.support in stance classification) play an important role, with effects also linked to label orders. An analysis of the model internal states further shows that optimal label names tend to activate fewer outlier neurons in the feed forward network. Based on this observation, we propose Label set Optimization via Activation Distribution kurtosiS (LOADS), a post-hoc approach requiring no gradient propagation. LOADS not only demonstrates effectiveness with only 100 unlabelled samples across different model types and sizes, but also shows cross-lingual transferability.
• Abstract（参考訳）: In-context Learning (ICL) のパフォーマンスは、迅速な設計に敏感であることが知られているが、ゼロショット分類におけるクラスラベルオプションの影響はほとんど見過ごされている。 本研究は,ラベルオプション(語彙選択,順序,評価)がゼロショットICL分類性能にどのように影響するかを調査した最初の総合的研究である。 以上の結果から,ラベル名に対する語彙的選択(例えば,地位分類における同意と支持)が重要な役割を担っていることが明らかとなった。 モデル内部状態の解析により、最適なラベル名はフィードフォワードネットワークにおいて、より少ない外部ニューロンを活性化する傾向があることが示された。 この観測に基づいて, 勾配伝播を必要としないポストホック手法である Activation Distribution kurtosiS (LOADS) を用いたラベルセット最適化を提案する。 LOADSは、異なるモデルタイプとサイズにまたがる100の未ラベルサンプルでの有効性を示すだけでなく、言語間転送性も示している。

関連論文リスト

• From Biased Selective Labels to Pseudo-Labels: An Expectation-Maximization Framework for Learning from Biased Decisions [9.440055827786596]
  異種検閲という,臨床に着想を得た選択的ラベル問題について検討した。 Disparate Censorship expectation-Maximization (DCEM)は、このような検閲の存在下で学習するためのアルゴリズムである。
  論文  参考訳（メタデータ） (2024-06-27T03:33:38Z)
• Posterior Label Smoothing for Node Classification [2.737276507021477]
  本稿では,トランスダクティブノード分類タスクに対して,単純かつ効果的なラベル平滑化を提案する。 本研究では, ソフトラベルを設計し, 周辺ラベル分布を通じて対象ノードの局所的コンテキストをカプセル化する。 以下の分析結果から,大域的なラベル統計を後続計算に組み込むことが,ラベル平滑化の成功の鍵であることが判明した。
  論文  参考訳（メタデータ） (2024-06-01T11:59:49Z)
• Label Propagation for Zero-shot Classification with Vision-Language Models [17.50253820510074]
  本稿では,ラベルなしデータの存在下でのゼロショット分類に挑戦する。 分類に測地距離を利用するラベル伝搬(LP)に基づくZLaPを導入する。 提案手法の有効性を14の共通データセットで評価し,ZLaPが最新の研究より優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-05T12:58:07Z)
• VLM-CPL: Consensus Pseudo Labels from Vision-Language Models for Human Annotation-Free Pathological Image Classification [23.08368823707528]
  本稿では,VLM(Venture-Language Models)を利用した画像分類法を提案する。 2つのノイズラベルフィルタリング技術と半教師付き学習戦略を統合した,コンセンサス擬似ラベルに基づく新しい手法 VLM-CPL を提案する。 実験の結果,HPHデータセットとLC25Kデータセットの精度は87.1%,95.1%であった。
  論文  参考訳（メタデータ） (2024-03-23T13:24:30Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)
• Unsupervised Selective Labeling for More Effective Semi-Supervised Learning [46.414510522978425]
  教師なしの選択的なラベル付けは、与えられたラベル付きデータの最先端のアクティブラーニングよりもSSLメソッドを一貫して改善する。 私たちの仕事は、実用的で効率的なSSLの新しい標準を設定します。
  論文  参考訳（メタデータ） (2021-10-06T18:25:50Z)
• Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
  物体検出に適した確実な擬似ラベルを導入する。 我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。 提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
  論文  参考訳（メタデータ） (2021-06-01T01:32:03Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。