論文の概要: C-ICL: Contrastive In-context Learning for Information Extraction
- arxiv url: http://arxiv.org/abs/2402.11254v1
- Date: Sat, 17 Feb 2024 11:28:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 22:25:39.797817
- Title: C-ICL: Contrastive In-context Learning for Information Extraction
- Title(参考訳): C-ICL:情報抽出のためのコントラスト型インコンテキスト学習
- Authors: Ying Mo, Jian Yang, Jiahao Liu, Shun Zhang, Jingang Wang, Zhoujun Li
- Abstract要約: c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。
各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
- 参考スコア(独自算出の注目度): 44.08005184704089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there has been increasing interest in exploring the capabilities of
advanced large language models (LLMs) in the field of information extraction
(IE), specifically focusing on tasks related to named entity recognition (NER)
and relation extraction (RE). Although researchers are exploring the use of
few-shot information extraction through in-context learning with LLMs, they
tend to focus only on using correct or positive examples for demonstration,
neglecting the potential value of incorporating incorrect or negative examples
into the learning process. In this paper, we present c-ICL, a novel few-shot
technique that leverages both correct and incorrect sample constructions to
create in-context learning demonstrations. This approach enhances the ability
of LLMs to extract entities and relations by utilizing prompts that incorporate
not only the positive samples but also the reasoning behind them. This method
allows for the identification and correction of potential interface errors.
Specifically, our proposed method taps into the inherent contextual information
and valuable information in hard negative samples and the nearest positive
neighbors to the test and then applies the in-context learning demonstrations
based on LLMs. Our experiments on various datasets indicate that c-ICL
outperforms previous few-shot in-context learning methods, delivering
substantial enhancements in performance across a broad spectrum of related
tasks. These improvements are noteworthy, showcasing the versatility of our
approach in miscellaneous scenarios.
- Abstract(参考訳): 近年、情報抽出(IE)分野において、名前付きエンティティ認識(NER)や関係抽出(RE)に関連するタスクに特化して、先進的な大規模言語モデル(LLM)の能力を探ることへの関心が高まっている。
llmsを用いたコンテキスト内学習を通じて,少数の情報抽出の利用を検討している研究者は多いが,実演の正しい例や肯定的な例のみに注目する傾向にあり,学習プロセスに不正確な例や否定的な例を取り込む潜在的な価値を無視する傾向がある。
本稿では, 正しいサンプル構成と不正確なサンプル構成を併用して, 文脈内学習のデモを作成する, 新規な複数ショット技術であるc-ICLを提案する。
このアプローチは、ポジティブなサンプルだけでなく、背後にある推論を含むプロンプトを利用することで、エンティティとリレーションを抽出できるllmの能力を高める。
この方法は、潜在的なインターフェースエラーの識別と修正を可能にする。
特に,本提案手法では,硬い負のサンプルと最寄りの正の近傍の固有文脈情報と貴重な情報をテストに適用し,llmsに基づく文脈内学習デモを適用した。
各種データセットに対する実験により、c-ICLは従来の数発のコンテキスト内学習法より優れており、関連するタスクの幅広い範囲で性能が大幅に向上していることが示された。
これらの改善は注目に値するもので、さまざまなシナリオにおける我々のアプローチの汎用性を示している。
関連論文リスト
- Heuristic-Driven Link-of-Analogy Prompting: Enhancing Large Language
Models for Document-Level Event Argument Extraction [13.42926436351462]
本稿では,Huristic-Driven Link-of-Alogy (HD-LoA)を導入し,サンプル選択の課題に対処する。
人間の類推的推論にインスパイアされ,LLMが新たな状況に対処できるリンク・オブ・アナロジー・プロンプトを提案する。
実験により,本手法は文書レベルのAEデータセット上で,既存のプロンプト手法や数発の教師付き学習手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-11-11T12:05:01Z) - Towards Understanding In-Context Learning with Contrastive
Demonstrations and Saliency Maps [0.32088888904556123]
大規模言語モデル(LLM)の文脈内学習性能における様々な実演要素の役割について検討する。
具体的には, 地中構造ラベル, 入力分布, 相補的説明の影響について検討する。
論文 参考訳(メタデータ) (2023-07-11T07:03:29Z) - IERL: Interpretable Ensemble Representation Learning -- Combining
CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。
近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。
本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
論文 参考訳(メタデータ) (2023-06-24T05:02:34Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Large Language Models Can be Lazy Learners: Analyze Shortcuts in
In-Context Learning [28.162661418161466]
大規模言語モデル(LLM)は、最近、コンテキスト内学習に大きな可能性を示している。
本稿では,ショートカットやプロンプト内のスプリアス相関に対するLDMsの依存度について検討する。
より大規模なモデルでは、推論中にプロンプトでショートカットを利用する可能性が高くなるという驚くべき発見が明らかになった。
論文 参考訳(メタデータ) (2023-05-26T20:56:30Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。
我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。
AMPLIFYは,幅広いタスクに対して約10~25%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-05-19T04:46:04Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳(メタデータ) (2023-03-09T06:24:50Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-07-01T09:26:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。