論文の概要: AdaptKeyBERT: An Attention-Based approach towards Few-Shot \& Zero-Shot Domain Adaptation of KeyBERT

• arxiv url: http://arxiv.org/abs/2211.07499v1
• Date: Mon, 14 Nov 2022 16:29:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 16:19:55.755486
• Title: AdaptKeyBERT: An Attention-Based approach towards Few-Shot \& Zero-Shot Domain Adaptation of KeyBERT
• Title（参考訳）: AdaptKeyBERT: KeyBERTのFew-Shot \& Zero-Shotドメイン適応に対する注意に基づくアプローチ
• Authors: Aman Priyanshu and Supriti Vijay
• Abstract要約: キーワード抽出器の下流でのトレーニングは長いプロセスであり、かなりの量のデータを必要とする。 本稿では,LLMベースを用いたキーワード抽出器の訓練パイプラインであるAdaptKeyBERTを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Keyword extraction has been an important topic for modern natural language processing. With its applications ranging from ontology generation, fact verification in summarized text, and recommendation systems. While it has had significant data-intensive applications, it is often hampered when the data set is small. Downstream training for keyword extractors is a lengthy process and requires a significant amount of data. Recently, Few-shot Learning (FSL) and Zero-Shot Learning (ZSL) have been proposed to tackle this problem. Therefore, we propose AdaptKeyBERT, a pipeline for training keyword extractors with LLM bases by incorporating the concept of regularized attention into a pre-training phase for downstream domain adaptation. As we believe our work has implications to be utilized in the pipeline of FSL/ZSL and keyword extraction, we open-source our code as well as provide the fine-tuning library of the same name AdaptKeyBERT at \url{https://github.com/AmanPriyanshu/AdaptKeyBERT}.
• Abstract（参考訳）: キーワード抽出は現代の自然言語処理において重要なトピックである。 その応用は、オントロジー生成、要約テキストにおける事実検証、レコメンデーションシステムなど多岐にわたる。 重要なデータ集約型アプリケーションを持っているが、データセットが小さい場合には、しばしば妨げられる。 キーワード抽出器の下流でのトレーニングは長いプロセスであり、大量のデータを必要とする。 近年,この問題に対処するためにFSL(Few-shot Learning)とZSL(Zero-Shot Learning)が提案されている。 そこで本研究では,下流領域適応のための事前学習フェーズに正規化注意の概念を取り入れ,llmベースでキーワード抽出を訓練するパイプラインであるadaptkeybertを提案する。 FSL/ZSLのパイプラインやキーワード抽出で活用できると信じているので、コードをオープンソースにして、同じ名前の微調整ライブラリAdaptKeyBERTを \url{https://github.com/AmanPriyanshu/AdaptKeyBERT}で提供します。

関連論文リスト

• Multiple Key-value Strategy in Recommendation Systems Incorporating Large Language Model [5.100347807752904]
  インターネットアプリケーションにおいて,レコメンデーションシステム (RS) はユーザ情報に適合する上で重要な役割を担っている。 近年,大規模言語モデル (LLM) が出現し,CVコミュニティとNLPコミュニティの両方で大きなブレークスルーを遂げている。
  論文  参考訳（メタデータ） (2023-10-25T06:49:19Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• Match to Win: Analysing Sequences Lengths for Efficient Self-supervised Learning in Speech and Audio [19.865050806327147]
  自己教師型学習は、音声および音声関連アプリケーションにおいて不可欠であることが証明されている。 本稿では、特定配列長の異なるSSL事前トレーニングに関する最初の実証的研究について述べる。 ショートシーケンスでのトレーニングは、すべてのタスクで満足なパフォーマンスを維持しながら、リソースコストを劇的に削減できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T16:35:42Z)
• Improving Keyphrase Extraction with Data Augmentation and Information Filtering [67.43025048639333]
  キーフレーズ抽出はNLPにおける文書理解に不可欠なタスクの1つである。 本稿では,Behanceプラットフォーム上でストリームされたビデオからキーフレーズを抽出するための新しいコーパスと手法を提案する。
  論文  参考訳（メタデータ） (2022-09-11T22:38:02Z)
• A Compact Pretraining Approach for Neural Language Models [21.767174489837828]
  事前学習したNLMは、データのコンパクトなサブセットから、ドメイン内の情報をより効率的に、より高速に学習できることを示す。 抽象要約と抽出キーワードを組み合わせた非構造化データから,これらのコンパクトな部分集合を構築する。 我々の戦略は、バニラ予習に比べて、予習時間を最大5倍削減します。
  論文  参考訳（メタデータ） (2022-08-25T22:43:47Z)
• Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference [74.80730361332711]
  コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。 単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2022-04-15T02:55:58Z)
• Learning Rich Representation of Keyphrases from Text [12.698835743464313]
  テキスト文書からキーフレーズの表現を豊かに学習することを目的としたタスク固有言語モデルの学習方法を示す。 差別的設定では、新しい事前学習目標である、KBIR(Keyphrase boundary Infilling with Replacement)を導入する。 生成設定では、入力テキストに関連するキーフレーズをCatSeqフォーマットで再現する、BART-KeyBARTの新しい事前学習設定を導入する。
  論文  参考訳（メタデータ） (2021-12-16T01:09:51Z)
• The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
  メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。 本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2021-08-09T14:07:46Z)
• BERTese: Learning to Speak to BERT [50.76152500085082]
  本論文では,より良い知識抽出に向けて直接最適化されたパラフレーズクエリ"BERTese"に自動書き換える手法を提案する。 私たちのアプローチが競合するベースラインを上回ることを実証的に示し、複雑なパイプラインの必要性を回避します。
  論文  参考訳（メタデータ） (2021-03-09T10:17:22Z)
• Improving Joint Layer RNN based Keyphrase Extraction by Using Syntactical Features [0.6724914680904501]
  我々は,複数のキーワード列を抽出するために,JRNNの入力層を変更することを提案する。 精度は9597,F1は7691であった。
  論文  参考訳（メタデータ） (2020-09-15T14:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。