論文の概要: Label Set Optimization via Activation Distribution Kurtosis for Zero-shot Classification with Generative Models
- arxiv url: http://arxiv.org/abs/2410.19195v2
- Date: Tue, 26 Aug 2025 15:09:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-27 17:42:38.436409
- Title: Label Set Optimization via Activation Distribution Kurtosis for Zero-shot Classification with Generative Models
- Title(参考訳): 生成モデルを用いたゼロショット分類のための活性化分布クルトーシスによるラベルセット最適化
- Authors: Yue Li, Zhixue Zhao, Carolina Scarton,
- Abstract要約: In-context Learning (ICL) のパフォーマンスは、迅速な設計に非常に敏感である。
ゼロショット分類におけるクラスラベルオプション(レキシコンやオーダーなど)は未定のままである。
本研究では,大規模言語モデルを用いたゼロショットICLにおける最適なラベルセット選択手法であるLOADSを提案する。
- 参考スコア(独自算出の注目度): 16.130133009174124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-context learning (ICL) performance is highly sensitive to prompt design, yet the impact of class label options (e.g. lexicon or order) in zero-shot classification remains underexplored. This study proposes LOADS (Label set Optimization via Activation Distribution kurtosiS), a post-hoc method for selecting optimal label sets in zero-shot ICL with large language models (LLMs). LOADS is built upon the observations in our empirical analysis, the first to systematically examine how label option design (i.e., lexical choice, order, and elaboration) impacts classification performance. This analysis shows that the lexical choice of the labels in the prompt (such as agree vs. support in stance classification) plays an important role in both model performance and model's sensitivity to the label order. A further investigation demonstrates that optimal label words tend to activate fewer outlier neurons in LLMs' feed-forward networks. LOADS then leverages kurtosis to measure the neuron activation distribution for label selection, requiring only a single forward pass without gradient propagation or labelled data. The LOADS-selected label words consistently demonstrate effectiveness for zero-shot ICL across classification tasks, datasets, models and languages, achieving maximum performance gain from 0.54 to 0.76 compared to the conventional approach of using original dataset label words.
- Abstract(参考訳): In-context Learning (ICL) のパフォーマンスは、迅速な設計に非常に敏感であるが、ゼロショット分類におけるクラスラベルオプション(例えば、レキシコンや順序)の影響はいまだ調査されていない。
本研究では,大規模言語モデル(LLM)を用いたゼロショットICLにおける最適なラベルセットを選択するポストホック手法であるLOADS(Label set Optimization via Activation Distribution kurtosiS)を提案する。
LOADSは経験的分析における観察に基づいて構築され、ラベルオプション設計(語彙選択、順序、実験)が分類性能にどのように影響するかを体系的に検証した最初のものである。
この分析は、プロンプトにおけるラベルの語彙的選択(例えば、スタンス分類における同意と支持)が、モデル性能とラベル順に対するモデルの感度の両方において重要な役割を果たすことを示している。
さらなる研究により、LLMのフィードフォワードネットワークにおいて、最適なラベルワードは、より少ない外れ値ニューロンを活性化する傾向があることが示されている。
その後、LOADSはカルトーシスを利用してラベル選択のためのニューロンの活性化分布を測定し、勾配伝播やラベル付きデータなしでは1つの前方通過しか必要としない。
LOADSが選択したラベルワードは、分類タスク、データセット、モデル、言語にまたがるゼロショットICLの有効性を一貫して示し、従来のデータセットラベルワードの使用方法と比較して最大パフォーマンスが0.54から0.76に向上した。
関連論文リスト
- Reduction-based Pseudo-label Generation for Instance-dependent Partial Label Learning [41.345794038968776]
本稿では,誤り候補ラベルの影響を軽減するために,リダクションに基づく擬似ラベルを活用することを提案する。
推定モデルから生成した擬似ラベルと比較して,減算に基づく擬似ラベルはベイズ最適分類器との整合性が高いことを示す。
論文 参考訳(メタデータ) (2024-10-28T07:32:20Z) - From Biased Selective Labels to Pseudo-Labels: An Expectation-Maximization Framework for Learning from Biased Decisions [9.440055827786596]
異種検閲という,臨床に着想を得た選択的ラベル問題について検討した。
Disparate Censorship expectation-Maximization (DCEM)は、このような検閲の存在下で学習するためのアルゴリズムである。
論文 参考訳(メタデータ) (2024-06-27T03:33:38Z) - Posterior Label Smoothing for Node Classification [2.737276507021477]
本稿では,トランスダクティブノード分類タスクに対して,単純かつ効果的なラベル平滑化を提案する。
本研究では, ソフトラベルを設計し, 周辺ラベル分布を通じて対象ノードの局所的コンテキストをカプセル化する。
以下の分析結果から,大域的なラベル統計を後続計算に組み込むことが,ラベル平滑化の成功の鍵であることが判明した。
論文 参考訳(メタデータ) (2024-06-01T11:59:49Z) - Label Propagation for Zero-shot Classification with Vision-Language Models [17.50253820510074]
本稿では,ラベルなしデータの存在下でのゼロショット分類に挑戦する。
分類に測地距離を利用するラベル伝搬(LP)に基づくZLaPを導入する。
提案手法の有効性を14の共通データセットで評価し,ZLaPが最新の研究より優れていることを示す。
論文 参考訳(メタデータ) (2024-04-05T12:58:07Z) - VLM-CPL: Consensus Pseudo Labels from Vision-Language Models for Human Annotation-Free Pathological Image Classification [23.08368823707528]
本稿では,VLM(Venture-Language Models)を利用した画像分類法を提案する。
2つのノイズラベルフィルタリング技術と半教師付き学習戦略を統合した,コンセンサス擬似ラベルに基づく新しい手法 VLM-CPL を提案する。
実験の結果,HPHデータセットとLC25Kデータセットの精度は87.1%,95.1%であった。
論文 参考訳(メタデータ) (2024-03-23T13:24:30Z) - Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label
Learning [97.88458953075205]
Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。
本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
論文 参考訳(メタデータ) (2023-05-04T12:52:18Z) - Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly
Supervised Video Anomaly Detection [149.23913018423022]
弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。
2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。
本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-08T05:53:53Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-12-06T07:38:29Z) - Instance-Dependent Partial Label Learning [69.49681837908511]
部分ラベル学習は、典型的には弱教師付き学習問題である。
既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。
本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
論文 参考訳(メタデータ) (2021-10-25T12:50:26Z) - Unsupervised Selective Labeling for More Effective Semi-Supervised
Learning [46.414510522978425]
教師なしの選択的なラベル付けは、与えられたラベル付きデータの最先端のアクティブラーニングよりもSSLメソッドを一貫して改善する。
私たちの仕事は、実用的で効率的なSSLの新しい標準を設定します。
論文 参考訳(メタデータ) (2021-10-06T18:25:50Z) - Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
物体検出に適した確実な擬似ラベルを導入する。
我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。
提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
論文 参考訳(メタデータ) (2021-06-01T01:32:03Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-15T23:29:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。