論文の概要: Guideline Learning for In-context Information Extraction
- arxiv url: http://arxiv.org/abs/2310.05066v1
- Date: Sun, 8 Oct 2023 08:25:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 12:57:05.446657
- Title: Guideline Learning for In-context Information Extraction
- Title(参考訳): 文脈内情報抽出のためのガイドライン学習
- Authors: Chaoxu Pang, Yixuan Cao, Qiang Ding, Ping Luo
- Abstract要約: 大規模言語モデル(LLM)は、単にタスク命令といくつかの入力出力例を条件付けるだけで、新しいタスクを実行することができる。
インコンテキスト情報抽出は、最近研究コミュニティで注目を集めている。
In-context IEのためのガイドライン学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 29.062173997909028
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) can perform a new task by merely conditioning on
task instructions and a few input-output examples, without optimizing any
parameters. This is called In-Context Learning (ICL). In-context Information
Extraction has recently garnered attention in the research community. However,
current experiment results are generally suboptimal. We attribute this
primarily to the fact that the complex task settings and a variety of edge
cases are hard to be fully expressed in the length-limited context. In this
paper, we propose a Guideline Learning (GL) framework for In-context IE which
learns to generate and follow guidelines. During the learning phrase, GL
automatically synthesizes a set of guidelines from a few annotations, and
during inference, helpful guidelines are retrieved for better ICL.
- Abstract(参考訳): 大規模言語モデル(llms)は、パラメータを最適化することなく、単にタスク命令といくつかの入出力例を条件付けするだけで、新しいタスクを実行することができる。
これをICL(In-Context Learning)と呼ぶ。
インコンテキスト情報抽出は、最近研究コミュニティで注目を集めている。
しかし、現在の実験結果は概して準最適である。
これは主に、複雑なタスク設定とさまざまなエッジケースが、長さ制限されたコンテキストで完全に表現することが難しいという事実に起因しています。
本稿では,ガイドライン作成とフォローを学習するインコンテキストieのためのガイドライン学習(gl)フレームワークを提案する。
学習フレーズの間、GLはいくつかのアノテーションから一連のガイドラインを自動的に合成し、推論の間、より良いICLのために有用なガイドラインが検索される。
関連論文リスト
- DEEP-ICL: Definition-Enriched Experts for Language Model In-Context
Learning [61.85871109164743]
大規模言語モデル(LLM)におけるパラメータの多さは、コンテキスト内学習(ICL)の能力を促進すると長い間考えられてきた。
ICL のための新しいタスク定義拡張 ExPert Ensembling Method である DEEP-ICL を紹介する。
ICLの改善はモデルのサイズに直接依存するのではなく、基本的にはタスク定義やタスク誘導学習の理解に起因している、と我々は主張する。
論文 参考訳(メタデータ) (2024-03-07T05:26:41Z) - C-ICL: Contrastive In-context Learning for Information Extraction [44.08005184704089]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。
各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-02-17T11:28:08Z) - INTERS: Unlocking the Power of Large Language Models in Search with
Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳(メタデータ) (2024-01-12T12:10:28Z) - When does In-context Learning Fall Short and Why? A Study on
Specification-Heavy Tasks [54.71034943526973]
In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。
ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。
我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
論文 参考訳(メタデータ) (2023-11-15T14:26:30Z) - Auto-ICL: In-Context Learning without Human Supervision [104.58114779879688]
Vanilla In-Context Learningは人間が提供するコンテキストに依存します。
自動文脈学習(Automatic In-Context Learning)という普遍的なフレームワークを提案する。
提案手法は,既存の手法と比較して,様々なタスクに対して高い性能を示す。
論文 参考訳(メタデータ) (2023-11-15T07:37:28Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Large Language Models Can be Lazy Learners: Analyze Shortcuts in
In-Context Learning [28.162661418161466]
大規模言語モデル(LLM)は、最近、コンテキスト内学習に大きな可能性を示している。
本稿では,ショートカットやプロンプト内のスプリアス相関に対するLDMsの依存度について検討する。
より大規模なモデルでは、推論中にプロンプトでショートカットを利用する可能性が高くなるという驚くべき発見が明らかになった。
論文 参考訳(メタデータ) (2023-05-26T20:56:30Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳(メタデータ) (2023-03-09T06:24:50Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳(メタデータ) (2023-02-11T14:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。