論文の概要: Large Language Model Is Not a Good Few-shot Information Extractor, but a Good Reranker for Hard Samples!

• arxiv url: http://arxiv.org/abs/2303.08559v1
• Date: Wed, 15 Mar 2023 12:20:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:01:34.442864
• Title: Large Language Model Is Not a Good Few-shot Information Extractor, but a Good Reranker for Hard Samples!
• Title（参考訳）: 大型の言語モデルは、あまり良くない情報エクストラクタだが、ハードサンプルのための良いリランカだ!
• Authors: Yubo Ma, Yixin Cao, YongChing Hong, Aixin Sun
• Abstract要約: 本稿では,Large Language Models (LLMs) は,一般的には実効的な少数ショット情報抽出器ではないことを示す。 本稿では,SLMがフィルタとして機能し,LLMがリランカとして機能する適応型フィルタ-then-rerankパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 24.87862935808854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have made remarkable strides in various tasks. However, whether they are competitive few-shot solvers for information extraction (IE) tasks and surpass fine-tuned small Pre-trained Language Models (SLMs) remains an open problem. This paper aims to provide a thorough answer to this problem, and moreover, to explore an approach towards effective and economical IE systems that combine the strengths of LLMs and SLMs. Through extensive experiments on eight datasets across three IE tasks, we show that LLMs are not effective few-shot information extractors in general, given their unsatisfactory performance in most settings and the high latency and budget requirements. However, we demonstrate that LLMs can well complement SLMs and effectively solve hard samples that SLMs struggle with. Building on these findings, we propose an adaptive filter-then-rerank paradigm, in which SLMs act as filters and LLMs act as rerankers. By utilizing LLMs to rerank a small portion of difficult samples identified by SLMs, our preliminary system consistently achieves promising improvements (2.1% F1-gain on average) on various IE tasks, with acceptable cost of time and money.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々なタスクにおいて顕著な進歩を遂げています。 しかし、それらが情報抽出(IE)タスクの競合的数ショットソルバであり、微調整された小さな事前学習言語モデル(SLM)を超越するか否かは未解決のままである。 本稿は, LLM と SLM の強みを組み合わせた実効的かつ経済的な IE システムへのアプローチを検討することを目的としている。 3つのIEタスクにまたがる8つのデータセットに関する広範な実験を通して、LLMは、ほとんどの設定で不満足な性能と高いレイテンシと予算要件を考えると、一般的には有効でないことを示す。 しかし, LLM は SLM を十分に補完し, SLM が抱えるハードサンプルを効果的に解決できることを示す。 そこで本研究では,slmがフィルタとして,llmがリランクとして機能する適応型フィルタ・then-rerankパラダイムを提案する。 LLMを用いてSLMが特定したサンプルのごく一部を再現することにより,各IEタスクにおける有望な改善(2.1% F1ゲイン)を実現し,時間と費用を許容できる。

関連論文リスト

• Guiding Large Language Models via Directional Stimulus Prompting [89.64896309628232]
  Directional Stimulus Promptingは、下流タスクにおけるブラックボックス凍結大型言語モデル(LLM)のガイダンスを提供する。 Policy LMは各入力の方向刺激'として離散トークンを生成し、これは要約のための記事のキーワードのようなヒント/手がかりである。 ポリシーLMは、1)注釈付きデータからの教師付き学習、2)オフラインおよびオンライン報酬からの強化学習を通じて訓練することができる。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)
• Do Embodied Agents Dream of Pixelated Sheep?: Embodied Decision Making using Language Guided World Modelling [101.59430768507997]
  強化学習 (Reinforcement Learning, RL) エージェントは通常、世界の事前の知識なしにタブラララザを学習する。 本稿では, LLMを用いて抽象世界モデル (AWM) を仮説化し, 計画と探索を行う。 LLMを用いてAWMを仮定し, エージェント経験に基づくAWMの検証を行うことで, 従来手法よりもサンプル効率を桁違いに向上させることができる。
  論文  参考訳（メタデータ） (2023-01-28T02:04:07Z)
• When Not to Trust Language Models: Investigating Effectiveness and Limitations of Parametric and Non-Parametric Memories [58.342130509118704]
  本稿では,事実知識を記憶する上でのLMの強みと限界を理解することを目的とする。 LMは、あまり一般的でない事実知識に苦しむが、スケーリングは、事実知識のテールでの記憶を確実に改善することができない。 我々は、必要時にのみ非パラメトリックメモリを検索する、強力かつ効率的な検索拡張LMの簡易かつ効果的な手法を考案する。
  論文  参考訳（メタデータ） (2022-12-20T18:30:15Z)
• LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models [27.318186938382233]
  本研究は,視覚的に知覚された環境下で,自然言語の指示に従って複雑なタスクを完了できるエンボディエージェントに焦点を当てた。 既存の手法は、優れたポリシーを学ぶために大量の(指示、金の軌道)ペアに依存している。 本稿では,大規模言語モデルのパワーを活かし,エンボディエージェントの少数ショットプランニングを行う新しい手法 LLM-Planner を提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:46:32Z)
• Validating Large Language Models with ReLM [11.552979853457117]
  大規模言語モデル(LLM)は、自然に聞こえるテキストを生成する能力があるとして、高く評価されている。 データ記憶、バイアス、不適切な言語など、LLMのネガティブな影響に関する懸念が高まっている。 本稿では,標準正規表現を用いたLLMの検証・クエリシステムであるReLMを紹介する。
  論文  参考訳（メタデータ） (2022-11-21T21:40:35Z)
• Shortcut Learning of Large Language Models in Natural Language Understanding: A Survey [119.45683008451698]
  大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。 予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。 これは彼らのアウト・オブ・ディストリビューション(OOD)と敵の堅牢性を著しく損なう。
  論文  参考訳（メタデータ） (2022-08-25T03:51:39Z)
• Large Language Models are Zero-Shot Reasoners [28.6899375595088]
  思考の連鎖(CoT)プロンプトは、ステップバイステップの回答例を通して複雑な多段階推論を引き出す手法である。 LLMは、各回答の前に単に「ステップバイステップ」を追加して、まともなゼロショット推論子であることを示す。 実験結果から,同一のプロンプトテンプレートを用いたZero-shot-CoTはゼロショットLLM性能を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T09:22:26Z)
• Adversarial Meta Sampling for Multilingual Low-Resource Speech Recognition [159.9312272042253]
  多言語メタラーニングASR(MML-ASR)を改善するための新しい逆メタサンプリング(AMS)アプローチを開発しています。 AMSは、各ソース言語のタスクサンプリング確率を適応的に決定する。 MML-ASRにAMSを適用すると、2つの多言語データセットの実験結果が大幅にパフォーマンス向上します。
  論文  参考訳（メタデータ） (2020-12-22T09:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。