論文の概要: From Haystack to Needle: Label Space Reduction for Zero-shot Classification

• arxiv url: http://arxiv.org/abs/2502.08436v1
• Date: Wed, 12 Feb 2025 14:20:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:51:05.834314
• Title: From Haystack to Needle: Label Space Reduction for Zero-shot Classification
• Title（参考訳）: Haystack から Needle へ:ゼロショット分類のためのラベル空間削減
• Authors: Nathan Vandemoortele, Bram Steenwinckel, Femke Ongenae, Sofie Van Hoecke,
• Abstract要約: 大規模言語モデル(LLM)のゼロショット分類性能を改善する新しい手法であるラベル空間削減法(LSR)を提案する。 LSRは分類ラベル空間を体系的に分類し、候補クラスを減らし、モデルが最も関連する選択肢に集中できるようにする。 LSRはLlama-3.1-70Bで平均7.0%(最大14.2%)、Claude-3.5-Sonnetで3.3%(最大11.1%)でマクロF1スコアを改善した。
• 参考スコア（独自算出の注目度）: 0.8866275453081095
• License:
• Abstract: We present Label Space Reduction (LSR), a novel method for improving zero-shot classification performance of Large Language Models (LLMs). LSR iteratively refines the classification label space by systematically ranking and reducing candidate classes, enabling the model to concentrate on the most relevant options. By leveraging unlabeled data with the statistical learning capabilities of data-driven models, LSR dynamically optimizes the label space representation at test time. Our experiments across seven benchmarks demonstrate that LSR improves macro-F1 scores by an average of 7.0% (up to 14.2%) with Llama-3.1-70B and 3.3% (up to 11.1%) with Claude-3.5-Sonnet compared to standard zero-shot classification baselines. To reduce the computational overhead of LSR, which requires an additional LLM call at each iteration, we propose distilling the model into a probabilistic classifier, allowing for efficient inference.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) のゼロショット分類性能を向上させる新しい手法であるラベル空間削減法(LSR)を提案する。 LSRは分類ラベル空間を体系的に分類し、候補クラスを減らし、モデルが最も関連する選択肢に集中できるようにする。 ラベル付きデータをデータ駆動モデルの統計的学習能力に活用することにより、LSRはテスト時にラベル空間表現を動的に最適化する。 LSRのマクロF1スコアはLlama-3.1-70Bで平均7.0%(最大14.2%)、Claude-3.5-Sonnetで最大3.3%(最大11.1%)改善されている。 LSRの計算オーバーヘッドを低減するために,各繰り返しにLLMコールを追加することで,モデルを確率的分類器に蒸留し,効率的な推論を可能にすることを提案する。

関連論文リスト

• Data Efficient Evaluation of Large Language Models and Text-to-Image Models via Adaptive Sampling [3.7467864495337624]
  SubLIMEはテキスト・ツー・イメージ・モデルのためのデータ効率評価フレームワークである。 我々のアプローチは、完全なデータセットと比較して統計的に整合したモデルランキングを保証する。 HEIMのリーダーボードを利用して、17の異なるベンチマークで25のテキスト・ツー・イメージモデルをカバーしています。
  論文  参考訳（メタデータ） (2024-06-21T07:38:55Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Investigating the Emergent Audio Classification Ability of ASR Foundation Models [39.67769732947647]
  本稿では,主に音声認識のために訓練された音声認識基礎モデルであるWhisperとMMSが,ゼロショット音声分類を行うことができることを示す。 以上の結果から,Whisperは8種類の音声分類データセットに対してゼロショット分類性能を示し,既存のゼロショットベースラインの精度を平均9%向上させることを示した。 さらに、モデルサイズによって性能が向上し、ASR基盤モデルがスケールアップされるにつれて、ゼロショット性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-15T20:52:56Z)
• LaFTer: Label-Free Tuning of Zero-shot Classifier using Language and Unlabeled Image Collections [30.875186985461063]
  大規模事前訓練型ビジョン・アンド・ランゲージ(VL)モデルでは、ゼロショット視覚分類において新しい最先端(SOTA)が設定されている。 初めて、ラベルなしで、ペア化されたVLデータなしで、このギャップを減らせる方法を示します。
  論文  参考訳（メタデータ） (2023-05-29T17:56:35Z)
• Efficient, Uncertainty-based Moderation of Neural Networks Text Classifiers [8.883733362171034]
  本稿では,分類器の出力を効率よく操作できるフレームワークを提案する。 予測の不確実性を利用して、不確実で、おそらく不正確な分類を人間のモデレーターに渡す半自動化アプローチを提案する。 一連のベンチマーク実験により、我々のフレームワークは分類F1スコアを5.1から11.2%改善できることが示された。
  論文  参考訳（メタデータ） (2022-04-04T09:07:54Z)
• Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
  本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。 提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-03-04T12:18:23Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• A new weakly supervised approach for ALS point cloud semantic segmentation [1.4620086904601473]
  本稿では,ALS点雲のセマンティックセグメンテーションのための,ディープラーニングに基づく弱教師付きフレームワークを提案する。 不完全でスパースなラベルの対象となるラベルのないデータから潜在的情報を利用する。 本手法は, 総合精度が83.0%, 平均F1スコアが70.0%であり, それぞれ6.9%, 12.8%増加した。
  論文  参考訳（メタデータ） (2021-10-04T14:00:23Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。