論文の概要: Semantic-Oriented Unlabeled Priming for Large-Scale Language Models

• arxiv url: http://arxiv.org/abs/2202.06133v1
• Date: Sat, 12 Feb 2022 19:50:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 15:57:59.843922
• Title: Semantic-Oriented Unlabeled Priming for Large-Scale Language Models
• Title（参考訳）: 大規模言語モデルのためのセマンティクス指向無ラベルプライミング
• Authors: Yanchen Liu, Timo Schick, Hinrich Sch\"utze
• Abstract要約: 本稿では,意味論的に類似した未ラベルの事例を検索して例を分類する手法であるSemantic-Oriented Unlabeled Priming (SOUP)を紹介する。 また、コンテクスト設定に適した新しいプライミング戦略であるbaba-of-contexts primingを提案し、コンテキストウィンドウに収まるよりも多くの例を利用できるようにした。
• 参考スコア（独自算出の注目度）: 12.074766935042588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the high costs associated with finetuning large language models, various recent works propose to adapt them to specific tasks without any parameter updates through in-context learning. Unfortunately, for in-context learning there is currently no way to leverage unlabeled data, which is often much easier to obtain in large quantities than labeled examples. In this work, we therefore investigate ways to make use of unlabeled examples to improve the zero-shot performance of pretrained language models without any finetuning: We introduce Semantic-Oriented Unlabeled Priming (SOUP), a method that classifies examples by retrieving semantically similar unlabeled examples, assigning labels to them in a zero-shot fashion, and then using them for in-context learning. We also propose bag-of-contexts priming, a new priming strategy that is more suitable for our setting and enables the usage of more examples than fit into the context window.
• Abstract（参考訳）: 大規模言語モデルの微調整に伴うコストが高いため、近年の様々な研究は、コンテキスト内学習によるパラメータ更新なしに、特定のタスクに適用することを提案している。 残念なことに、コンテキスト内学習では、ラベルのないデータを活用する方法が現在存在しない。 そこで本研究では,事前学習された言語モデルのゼロショット性能を,微調整することなく改善する方法について検討する。我々は,意味的に類似した無ラベルの例を検索し,ゼロショットの方法でラベルを割り当て,文脈内学習に使用する,意味指向無ラベルプライミング(soup)を導入する。 また,私たちの設定に適した新しいプライミング戦略であるbag-of-contexts primingを提案し,コンテキストウィンドウに適合する以上のサンプルの使用を可能にした。

関連論文リスト

• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• In-Context Learning for Text Classification with Many Labels [34.87532045406169]
  多くのラベルを持つタスクに対して大きな言語モデルを用いたインコンテキスト学習(ICL)は、コンテキストウィンドウが限られているため困難である。 我々は、この制限を回避するために、事前訓練された高密度検索モデルを使用する。 我々は、コンテキスト内サンプルの数と異なるモデルスケールのパフォーマンスを分析します。
  論文  参考訳（メタデータ） (2023-09-19T22:41:44Z)
• EXnet: Efficient In-context Learning for Data-less Text classification [0.0]
  本報告では,実例数に制限を加えることなく,文脈内学習を実現するためのモデルであるEXnetを提案する。 テキスト内学習はタスクの精度を高めるための効果的な手法であり,実例を提供することでタスク間の一般化が促進される,と我々は主張する。 大規模な実験により、我々の最小のモデル(15Mパラメータ)でさえ、いくつかの目に見えない分類タスクや領域に一般化できることが示される。
  論文  参考訳（メタデータ） (2023-05-24T01:40:57Z)
• CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification [57.62886091828512]
  多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
  論文  参考訳（メタデータ） (2022-11-11T03:45:59Z)
• TabLLM: Few-shot Classification of Tabular Data with Large Language Models [66.03023402174138]
  大規模言語モデルのゼロショットおよび少数ショット分類への応用について検討する。 テンプレートやテーブル・ツー・テキストモデル,大規模言語モデルなど,いくつかのシリアライズ手法を評価する。 このアプローチは、勾配木のような強力な伝統的なベースラインとも競合する。
  論文  参考訳（メタデータ） (2022-10-19T17:08:13Z)
• Selective Annotation Makes Language Models Better Few-Shot Learners [97.07544941620367]
  大規模な言語モデルはコンテキスト内学習を実行でき、いくつかのタスクデモから新しいタスクを学ぶことができる。 本研究は、新しい自然言語タスクのためのデータセット作成において、文脈内学習がもたらす意味について考察する。 本稿では,無教師付きグラフベースの選択的アノテーションであるvoke-kを提案する。
  論文  参考訳（メタデータ） (2022-09-05T14:01:15Z)
• Learning to Imagine: Diversify Memory for Incremental Learning using Unlabeled Data [69.30452751012568]
  本研究では,多様な特徴を適応的に生成することで,経験を多様化する学習可能な特徴生成装置を開発する。 生成したサンプルを前例とセマンティックに整合させるために,意味的コントラスト学習を導入する。 提案手法は, 余分な推論コストを伴わず, 2つのベンチマークで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-04-19T15:15:18Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)
• Using Sentences as Semantic Representations in Large Scale Zero-Shot Learning [6.0158981171030685]
  ゼロショット学習は、トレーニング中に視覚的なインスタンスが利用できない、見えないクラスのインスタンスを認識することを目的としている。 良いトレードオフは、自然言語の短い文をクラス記述として使うことである。 単純な手法では文だけでは良い結果が得られないが、通常の単語の埋め込みと文の組み合わせは、現在の最先端よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-06T18:22:21Z)
• Contextualizing Enhances Gradient Based Meta Learning [7.009032627535598]
  本稿では,メタラーニング手法を文脈解析器と組み合わせることで,いくつかのショットラーニングデータセットの性能を著しく向上させることができることを示す。 オーバーフィットすることなくパラメータを更新することが困難である低データ環境に対して,我々のアプローチは特に適しています。
  論文  参考訳（メタデータ） (2020-07-17T04:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。