論文の概要: Few-Shot Anaphora Resolution in Scientific Protocols via Mixtures of
In-Context Experts
- arxiv url: http://arxiv.org/abs/2210.03690v1
- Date: Fri, 7 Oct 2022 16:51:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 12:47:59.465536
- Title: Few-Shot Anaphora Resolution in Scientific Protocols via Mixtures of
In-Context Experts
- Title（参考訳）: インコンテキストエキスパートの混在による科学プロトコルのアナフォラ分解能
- Authors: Nghia T. Le, Fan Bai, and Alan Ritter
- Abstract要約: 本稿では,MICE(Mixtures of In-Context Experts)について述べる。
MICEは数百のコンテキストの専門家による予測を組み合わせることで、競合するプロンプト検索ベースラインよりもF1スコアが30%増加する。
- 参考スコア（独自算出の注目度）: 9.642187680042657
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Anaphora resolution is an important task for information extraction across a
range of languages, text genres, and domains, motivating the need for methods
that do not require large annotated datasets. In-context learning has emerged
as a promising approach, yet there are a number of challenges in applying
in-context learning to resolve anaphora. For example, encoding a single
in-context demonstration that consists of: an anaphor, a paragraph-length
context, and a list of corresponding antecedents, requires conditioning a
language model on a long sequence of tokens, limiting the number of
demonstrations per prompt. In this paper, we present MICE (Mixtures of
In-Context Experts), which we demonstrate is effective for few-shot anaphora
resolution in scientific protocols (Tamari et al., 2021). Given only a handful
of training examples, MICE combines the predictions of hundreds of in-context
experts, yielding a 30% increase in F1 score over a competitive prompt
retrieval baseline. Furthermore, we show MICE can be used to train compact
student models without sacrificing performance. As far as we are aware, this is
the first work to present experimental results demonstrating the effectiveness
of in-context learning on the task of few-shot anaphora resolution in
scientific protocols.
- Abstract（参考訳）: アナフォラ分解は、さまざまな言語、テキストジャンル、ドメインの情報を抽出するための重要なタスクであり、大量の注釈付きデータセットを必要としないメソッドの必要性を動機付けている。
In-context Learningは有望なアプローチとして登場したが、アナフォラの解決にはIn-context Learningを適用する上で多くの課題がある。
例えば、anaphor、段落長のコンテキスト、対応する先行者のリストからなる1つのインコンテキストのデモンストレーションをエンコードするには、長いトークン列で言語モデルを条件付けし、プロンプト当たりのデモンストレーション数を制限する必要がある。
本稿では,科学的プロトコル(tamari et al., 2021)における数発アナフォラ分解に有効なマウス(in-context experts)について述べる。
ごく少数のトレーニング例を考慮すれば、MICEは数百のコンテキストの専門家による予測を組み合わせることで、競合するプロンプト検索ベースラインよりもF1スコアが30%増加する。
さらに, MICEは, 性能を犠牲にすることなく, コンパクトな学生モデルの訓練に利用できることを示す。
我々の知る限り、これは科学プロトコルにおける数発のアナフォラ分解のタスクにおいて、文脈内学習の有効性を示す実験結果を示す最初の研究である。
関連論文リスト
- A Large Encoder-Decoder Family of Foundation Models For Chemical Language [1.1073864511426255]
本稿では,PubChemから得られた9100万個のSMILESサンプルを事前学習した大規模エンコーダ・デコーダ化学基礎モデルを提案する。
複数のベンチマークデータセットにまたがる実験は、様々なタスクに対して最先端の結果を提供する際に提案したモデルのキャパシティを検証する。
論文 参考訳（メタデータ） (2024-07-24T20:30:39Z) - Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning [68.43706033424378]
本研究では,大規模言語モデル(MLLM)において,テキスト中のテキスト長を効率的に向上する革新的な手法を提案する。
視覚トークンを用いて長文のテキストを処理するビジュアルインコンテキストテキスト処理(VisInContext)を提案する。
この技術は、トレーニングおよび推論段階の両方において、GPUメモリ使用率と浮動小数点演算(FLOP)を大幅に削減する。
論文 参考訳（メタデータ） (2024-06-04T17:59:25Z) - Chain of Thought with Explicit Evidence Reasoning for Few-shot Relation
Extraction [15.553367375330843]
大規模言語モデルを用いた数ショット関係抽出のための新しい手法を提案する。
CoT-ERは、タスク固有の知識と概念レベルの知識を使用して証拠を生成するために、まず大きな言語モデルを誘導する。
論文 参考訳（メタデータ） (2023-11-10T08:12:00Z) - RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。
フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。
本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
論文 参考訳（メタデータ） (2023-08-15T17:59:18Z) - EXnet: Efficient In-context Learning for Data-less Text classification [0.0]
本報告では,実例数に制限を加えることなく,文脈内学習を実現するためのモデルであるEXnetを提案する。
テキスト内学習はタスクの精度を高めるための効果的な手法であり,実例を提供することでタスク間の一般化が促進される,と我々は主張する。
大規模な実験により、我々の最小のモデル(15Mパラメータ)でさえ、いくつかの目に見えない分類タスクや領域に一般化できることが示される。
論文 参考訳（メタデータ） (2023-05-24T01:40:57Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - Full-Text Argumentation Mining on Scientific Publications [3.8754200816873787]
フルテキストSAMに対してADURとAREを組み合わせた逐次パイプラインモデルを提案する。
両サブタスクにおける事前学習言語モデル(PLM)の性能について,最初の解析を行った。
本稿では,非連続型ADUと談話コネクタの解釈が重要な課題であることを示す。
論文 参考訳（メタデータ） (2022-10-24T10:05:30Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳（メタデータ） (2021-04-14T06:30:36Z) - Pre-training via Paraphrasing [96.79972492585112]
教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。
ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。
例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
論文 参考訳（メタデータ） (2020-06-26T14:43:43Z) - Video Understanding as Machine Translation [53.59298393079866]
我々は、単一の統合フレームワークを用いて、様々なダウンストリームビデオ理解タスクに取り組む。
映像分類(EPIC-Kitchens)、質問応答(TVQA)、キャプション(TVC, YouCook2, MSR-VTT)など、いくつかのダウンストリームタスクにおいて、現状よりもパフォーマンスの向上が報告されている。
論文 参考訳（メタデータ） (2020-06-12T14:07:04Z) - Document-Level Event Role Filler Extraction using Multi-Granularity
Contextualized Encoding [40.13163091122463]
イベントロールフィラーに対応するテキストの幅を決定するために、より大きなコンテキストのビューを必要とするため、イベント抽出は難しいタスクである。
まず、文書レベルのロールフィラー抽出において、エンドツーエンドのニューラルシーケンスモデルがどのように機能するかを検討する。
私たちの最高のシステムは、以前の作業よりもかなり優れたパフォーマンスを示します。
論文 参考訳（メタデータ） (2020-05-13T20:42:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。