論文の概要: Guideline Learning for In-context Information Extraction

• arxiv url: http://arxiv.org/abs/2310.05066v1
• Date: Sun, 8 Oct 2023 08:25:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 12:57:05.446657
• Title: Guideline Learning for In-context Information Extraction
• Title（参考訳）: 文脈内情報抽出のためのガイドライン学習
• Authors: Chaoxu Pang, Yixuan Cao, Qiang Ding, Ping Luo
• Abstract要約: 大規模言語モデル(LLM)は、単にタスク命令といくつかの入力出力例を条件付けるだけで、新しいタスクを実行することができる。 インコンテキスト情報抽出は、最近研究コミュニティで注目を集めている。 In-context IEのためのガイドライン学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 29.062173997909028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can perform a new task by merely conditioning on task instructions and a few input-output examples, without optimizing any parameters. This is called In-Context Learning (ICL). In-context Information Extraction has recently garnered attention in the research community. However, current experiment results are generally suboptimal. We attribute this primarily to the fact that the complex task settings and a variety of edge cases are hard to be fully expressed in the length-limited context. In this paper, we propose a Guideline Learning (GL) framework for In-context IE which learns to generate and follow guidelines. During the learning phrase, GL automatically synthesizes a set of guidelines from a few annotations, and during inference, helpful guidelines are retrieved for better ICL.
• Abstract（参考訳）: 大規模言語モデル(llms)は、パラメータを最適化することなく、単にタスク命令といくつかの入出力例を条件付けするだけで、新しいタスクを実行することができる。 これをICL(In-Context Learning)と呼ぶ。 インコンテキスト情報抽出は、最近研究コミュニティで注目を集めている。 しかし、現在の実験結果は概して準最適である。 これは主に、複雑なタスク設定とさまざまなエッジケースが、長さ制限されたコンテキストで完全に表現することが難しいという事実に起因しています。 本稿では,ガイドライン作成とフォローを学習するインコンテキストieのためのガイドライン学習(gl)フレームワークを提案する。 学習フレーズの間、GLはいくつかのアノテーションから一連のガイドラインを自動的に合成し、推論の間、より良いICLのために有用なガイドラインが検索される。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Eliciting Causal Abilities in Large Language Models for Reasoning Tasks [14.512834333917414]
  我々は,LLMが高品質で低品質な観測データを生成することができる自己因果的指導強化法(SCIE)を導入する。 SCIEでは、命令は治療として扱われ、自然言語を処理するためにテキストの特徴が使用される。 提案手法は,プロンプトのトレーニングコストを削減し,推論性能を向上させる命令を効果的に生成する。
  論文  参考訳（メタデータ） (2024-12-19T17:03:02Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Retrieval Meets Reasoning: Dynamic In-Context Editing for Long-Text Understanding [11.5386284281652]
  動的インテキスト編集による情報検索を再現する新しい手法を提案する。 長大な文脈を拡張可能な外部知識として扱うことにより,本手法は対話的に関連情報を収集・統合する。 実験結果から,提案手法はコンテキスト限定LLMを効果的に活用し,マルチホップ推論に有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-18T06:54:28Z)
• AutoGuide: Automated Generation and Selection of Context-Aware Guidelines for Large Language Model Agents [74.17623527375241]
  オフライン体験からコンテキスト認識ガイドラインを自動的に生成する,AutoGuideという新しいフレームワークを導入する。 その結果,本ガイドラインはエージェントの現在の意思決定プロセスに関連性のある知識の提供を促進する。 評価の結果, AutoGuide は複雑なベンチマーク領域において, 競争ベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-13T22:06:03Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Large Language Models Can be Lazy Learners: Analyze Shortcuts in In-Context Learning [28.162661418161466]
  大規模言語モデル(LLM)は、最近、コンテキスト内学習に大きな可能性を示している。 本稿では,ショートカットやプロンプト内のスプリアス相関に対するLDMsの依存度について検討する。 より大規模なモデルでは、推論中にプロンプトでショートカットを利用する可能性が高くなるという驚くべき発見が明らかになった。
  論文  参考訳（メタデータ） (2023-05-26T20:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。