論文の概要: Few-Shot Anaphora Resolution in Scientific Protocols via Mixtures of
In-Context Experts
- arxiv url: http://arxiv.org/abs/2210.03690v1
- Date: Fri, 7 Oct 2022 16:51:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 12:47:59.465536
- Title: Few-Shot Anaphora Resolution in Scientific Protocols via Mixtures of
In-Context Experts
- Title(参考訳): インコンテキストエキスパートの混在による科学プロトコルのアナフォラ分解能
- Authors: Nghia T. Le, Fan Bai, and Alan Ritter
- Abstract要約: 本稿では,MICE(Mixtures of In-Context Experts)について述べる。
MICEは数百のコンテキストの専門家による予測を組み合わせることで、競合するプロンプト検索ベースラインよりもF1スコアが30%増加する。
- 参考スコア(独自算出の注目度): 9.642187680042657
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Anaphora resolution is an important task for information extraction across a
range of languages, text genres, and domains, motivating the need for methods
that do not require large annotated datasets. In-context learning has emerged
as a promising approach, yet there are a number of challenges in applying
in-context learning to resolve anaphora. For example, encoding a single
in-context demonstration that consists of: an anaphor, a paragraph-length
context, and a list of corresponding antecedents, requires conditioning a
language model on a long sequence of tokens, limiting the number of
demonstrations per prompt. In this paper, we present MICE (Mixtures of
In-Context Experts), which we demonstrate is effective for few-shot anaphora
resolution in scientific protocols (Tamari et al., 2021). Given only a handful
of training examples, MICE combines the predictions of hundreds of in-context
experts, yielding a 30% increase in F1 score over a competitive prompt
retrieval baseline. Furthermore, we show MICE can be used to train compact
student models without sacrificing performance. As far as we are aware, this is
the first work to present experimental results demonstrating the effectiveness
of in-context learning on the task of few-shot anaphora resolution in
scientific protocols.
- Abstract(参考訳): アナフォラ分解は、さまざまな言語、テキストジャンル、ドメインの情報を抽出するための重要なタスクであり、大量の注釈付きデータセットを必要としないメソッドの必要性を動機付けている。
In-context Learningは有望なアプローチとして登場したが、アナフォラの解決にはIn-context Learningを適用する上で多くの課題がある。
例えば、anaphor、段落長のコンテキスト、対応する先行者のリストからなる1つのインコンテキストのデモンストレーションをエンコードするには、長いトークン列で言語モデルを条件付けし、プロンプト当たりのデモンストレーション数を制限する必要がある。
本稿では,科学的プロトコル(tamari et al., 2021)における数発アナフォラ分解に有効なマウス(in-context experts)について述べる。
ごく少数のトレーニング例を考慮すれば、MICEは数百のコンテキストの専門家による予測を組み合わせることで、競合するプロンプト検索ベースラインよりもF1スコアが30%増加する。
さらに, MICEは, 性能を犠牲にすることなく, コンパクトな学生モデルの訓練に利用できることを示す。
我々の知る限り、これは科学プロトコルにおける数発のアナフォラ分解のタスクにおいて、文脈内学習の有効性を示す実験結果を示す最初の研究である。
関連論文リスト
- Chain of Thought with Explicit Evidence Reasoning for Few-shot Relation
Extraction [15.553367375330843]
大規模言語モデルを用いた数ショット関係抽出のための新しい手法を提案する。
CoT-ERは、タスク固有の知識と概念レベルの知識を使用して証拠を生成するために、まず大きな言語モデルを誘導する。
論文 参考訳(メタデータ) (2023-11-10T08:12:00Z) - Demonstrations Are All You Need: Advancing Offensive Content
Paraphrasing using In-Context Learning [11.547129568395103]
本稿では,大規模言語モデル(LLM)を用いたICL(In-Context Learning)を探索し,実践者を支援することを目的とする。
本研究は, 実演数と順序, 即時指導の排除, 測定毒性の低下など, 重要な要因に焦点を当てた。
ICLは、世代品質において教師付き手法に匹敵するが、人間の評価では25%、毒性では76%が質的に優れている。
論文 参考訳(メタデータ) (2023-10-16T16:18:55Z) - Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。
クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。
我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
論文 参考訳(メタデータ) (2023-05-26T08:44:02Z) - EXnet: Efficient In-context Learning for Data-less Text classification [0.0]
本報告では,実例数に制限を加えることなく,文脈内学習を実現するためのモデルであるEXnetを提案する。
テキスト内学習はタスクの精度を高めるための効果的な手法であり,実例を提供することでタスク間の一般化が促進される,と我々は主張する。
大規模な実験により、我々の最小のモデル(15Mパラメータ)でさえ、いくつかの目に見えない分類タスクや領域に一般化できることが示される。
論文 参考訳(メタデータ) (2023-05-24T01:40:57Z) - Stabilized In-Context Learning with Pre-trained Language Models for Few
Shot Dialogue State Tracking [57.92608483099916]
大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。
対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。
対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
論文 参考訳(メタデータ) (2023-02-12T15:05:10Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳(メタデータ) (2023-01-22T18:22:55Z) - Full-Text Argumentation Mining on Scientific Publications [3.8754200816873787]
フルテキストSAMに対してADURとAREを組み合わせた逐次パイプラインモデルを提案する。
両サブタスクにおける事前学習言語モデル(PLM)の性能について,最初の解析を行った。
本稿では,非連続型ADUと談話コネクタの解釈が重要な課題であることを示す。
論文 参考訳(メタデータ) (2022-10-24T10:05:30Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z) - Pre-training via Paraphrasing [96.79972492585112]
教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。
ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。
例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
論文 参考訳(メタデータ) (2020-06-26T14:43:43Z) - Video Understanding as Machine Translation [53.59298393079866]
我々は、単一の統合フレームワークを用いて、様々なダウンストリームビデオ理解タスクに取り組む。
映像分類(EPIC-Kitchens)、質問応答(TVQA)、キャプション(TVC, YouCook2, MSR-VTT)など、いくつかのダウンストリームタスクにおいて、現状よりもパフォーマンスの向上が報告されている。
論文 参考訳(メタデータ) (2020-06-12T14:07:04Z) - Document-Level Event Role Filler Extraction using Multi-Granularity
Contextualized Encoding [40.13163091122463]
イベントロールフィラーに対応するテキストの幅を決定するために、より大きなコンテキストのビューを必要とするため、イベント抽出は難しいタスクである。
まず、文書レベルのロールフィラー抽出において、エンドツーエンドのニューラルシーケンスモデルがどのように機能するかを検討する。
私たちの最高のシステムは、以前の作業よりもかなり優れたパフォーマンスを示します。
論文 参考訳(メタデータ) (2020-05-13T20:42:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。