論文の概要: Retrieval Augmented Zero-Shot Text Classification

• arxiv url: http://arxiv.org/abs/2406.15241v2
• Date: Wed, 26 Jun 2024 22:04:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 21:11:16.196422
• Title: Retrieval Augmented Zero-Shot Text Classification
• Title（参考訳）: 検索によるゼロショットテキスト分類
• Authors: Tassallah Abdullahi, Ritambhara Singh, Carsten Eickhoff,
• Abstract要約: QZeroは、ウィキペディアからサポートカテゴリを検索することでクエリを再構築する、新しいトレーニングフリーな知識増強手法である。 6つの多様なデータセットを対象とした実験により、QZeroは、再トレーニングを必要とせずに、最先端の静的およびコンテキスト埋め込みモデルの性能を向上させることを示した。
• 参考スコア（独自算出の注目度）: 16.947810072442188
• License:
• Abstract: Zero-shot text learning enables text classifiers to handle unseen classes efficiently, alleviating the need for task-specific training data. A simple approach often relies on comparing embeddings of query (text) to those of potential classes. However, the embeddings of a simple query sometimes lack rich contextual information, which hinders the classification performance. Traditionally, this has been addressed by improving the embedding model with expensive training. We introduce QZero, a novel training-free knowledge augmentation approach that reformulates queries by retrieving supporting categories from Wikipedia to improve zero-shot text classification performance. Our experiments across six diverse datasets demonstrate that QZero enhances performance for state-of-the-art static and contextual embedding models without the need for retraining. Notably, in News and medical topic classification tasks, QZero improves the performance of even the largest OpenAI embedding model by at least 5% and 3%, respectively. Acting as a knowledge amplifier, QZero enables small word embedding models to achieve performance levels comparable to those of larger contextual models, offering the potential for significant computational savings. Additionally, QZero offers meaningful insights that illuminate query context and verify topic relevance, aiding in understanding model predictions. Overall, QZero improves embedding-based zero-shot classifiers while maintaining their simplicity. This makes it particularly valuable for resource-constrained environments and domains with constantly evolving information.
• Abstract（参考訳）: ゼロショットテキスト学習により、テキスト分類器は見えないクラスを効率的に扱えるようになり、タスク固有のトレーニングデータの必要性が軽減される。 単純なアプローチは、クエリ(テキスト)の埋め込みを潜在的なクラスの埋め込みと比較することに依存することが多い。 しかし、単純なクエリの埋め込みにはリッチなコンテキスト情報がない場合があり、分類性能を損なう。 伝統的に、これは高価なトレーニングで埋め込みモデルを改善することで対処されてきた。 QZeroは、ウィキペディアからサポートカテゴリを取得してクエリを再構築し、ゼロショットテキスト分類性能を改善する新しい学習自由知識増強手法である。 6つの多様なデータセットを対象とした実験により、QZeroは、再トレーニングを必要とせずに、最先端の静的およびコンテキスト埋め込みモデルの性能を向上させることを示した。 特に、ニュースと医療トピックの分類タスクにおいて、QZeroは、最大規模のOpenAI埋め込みモデルでも、それぞれ少なくとも5%と3%の性能を改善している。 QZeroは知識増幅器として機能し、小さな単語埋め込みモデルにより、より大きな文脈モデルに匹敵するパフォーマンスレベルを達成することができ、計算量を大幅に削減する可能性がある。 さらに、QZeroはクエリコンテキストを照らし、トピック関連性を検証し、モデル予測の理解を支援する意味のある洞察を提供する。 全体として、QZeroは、単純さを維持しながら、埋め込みベースのゼロショット分類器を改善している。 これにより、リソースに制約のある環境や、絶えず進化する情報を持つドメインにとって、特に価値がある。

関連論文リスト

• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Less is More: A Closer Look at Semantic-based Few-Shot Learning [11.724194320966959]
  Few-shot Learningは、利用可能な画像の数が非常に限られている新しいカテゴリを学習し、区別することを目的としている。 本稿では,テキスト情報と言語モデルを活用することを目的とした,数ショットの学習タスクのための,シンプルだが効果的なフレームワークを提案する。 広範に使われている4つのショットデータセットで実施した実験は、我々の単純なフレームワークが印象的な結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-10T08:56:02Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Vita-CLIP: Video and text adaptive CLIP via Multimodal Prompting [111.49781716597984]
  本稿では,教師付きおよびゼロショット性能のバランスをとるためのマルチモーダル・プロンプト学習手法を提案する。 Kinetics-600, HMDB51, UCF101では, 教師付き環境での競争力を維持しながら, 最先端のゼロショット性能を実現することができる。
  論文  参考訳（メタデータ） (2023-04-06T18:00:04Z)
• Zero-Shot Text Classification with Self-Training [8.68603153534916]
  ゼロショット分類器を最も確実な予測で微調整することで、幅広いテキスト分類タスクにおいて大幅な性能向上が期待できることを示す。 自己学習は、手元にあるタスクにゼロショットモデルを適用する。
  論文  参考訳（メタデータ） (2022-10-31T17:55:00Z)
• Beyond prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations [24.3378487252621]
  事前学習した言語モデルの埋め込み空間にテキストをクラスタリングすることで、ゼロショットテキスト分類を改善することができることを示す。 提案手法は, 即発的なゼロショット学習よりも平均20%絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2022-10-29T16:01:51Z)
• Text2Model: Text-based Model Induction for Zero-shot Image Classification [38.704831945753284]
  テキスト記述のみを用いてタスクに依存しない分類器を構築するという課題に対処する。 クラス記述を受信し,マルチクラスモデルを出力するハイパーネットワークを用いてゼロショット分類器を生成する。 本手法は,画像,ポイントクラウド,行動認識など,一連のゼロショット分類タスクにおいて,テキスト記述の範囲を用いて評価する。
  論文  参考訳（メタデータ） (2022-10-27T05:19:55Z)
• Flexible Job Classification with Zero-Shot Learning [0.0]
  本研究は、微調整言語モデルを用いたゼロショットマルチラベル文書分類の研究である。 実験では、ゼロショット学習がこの環境で非常に効果的であることが示されている。 推奨システムからよく知られたフィルタ/再ランク分解を採用することで、計算負担を大幅に削減することができる。
  論文  参考訳（メタデータ） (2022-08-30T18:18:21Z)
• Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
  ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。 本研究では,映像分類作業における知識の伝達に着目した。 予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
  論文  参考訳（メタデータ） (2022-07-04T10:00:47Z)
• ZeroBERTo -- Leveraging Zero-Shot Text Classification by Topic Modeling [57.80052276304937]
  本稿では、教師なしクラスタリングのステップを利用して、分類タスクの前に圧縮されたデータ表現を得る新しいモデルZeroBERToを提案する。 また,ZeroBERToは,FolhaUOLデータセットのF1スコアにおいて,XLM-Rを約12%上回り,長い入力と実行時間の短縮に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-01-04T20:08:17Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。