論文の概要: Large Language Model Is Not a Good Few-shot Information Extractor, but a
Good Reranker for Hard Samples!
- arxiv url: http://arxiv.org/abs/2303.08559v1
- Date: Wed, 15 Mar 2023 12:20:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 14:01:34.442864
- Title: Large Language Model Is Not a Good Few-shot Information Extractor, but a
Good Reranker for Hard Samples!
- Title(参考訳): 大型の言語モデルは、あまり良くない情報エクストラクタだが、ハードサンプルのための良いリランカだ!
- Authors: Yubo Ma, Yixin Cao, YongChing Hong, Aixin Sun
- Abstract要約: 本稿では,Large Language Models (LLMs) は,一般的には実効的な少数ショット情報抽出器ではないことを示す。
本稿では,SLMがフィルタとして機能し,LLMがリランカとして機能する適応型フィルタ-then-rerankパラダイムを提案する。
- 参考スコア(独自算出の注目度): 24.87862935808854
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have made remarkable strides in various tasks.
However, whether they are competitive few-shot solvers for information
extraction (IE) tasks and surpass fine-tuned small Pre-trained Language Models
(SLMs) remains an open problem. This paper aims to provide a thorough answer to
this problem, and moreover, to explore an approach towards effective and
economical IE systems that combine the strengths of LLMs and SLMs. Through
extensive experiments on eight datasets across three IE tasks, we show that
LLMs are not effective few-shot information extractors in general, given their
unsatisfactory performance in most settings and the high latency and budget
requirements. However, we demonstrate that LLMs can well complement SLMs and
effectively solve hard samples that SLMs struggle with. Building on these
findings, we propose an adaptive filter-then-rerank paradigm, in which SLMs act
as filters and LLMs act as rerankers. By utilizing LLMs to rerank a small
portion of difficult samples identified by SLMs, our preliminary system
consistently achieves promising improvements (2.1% F1-gain on average) on
various IE tasks, with acceptable cost of time and money.
- Abstract(参考訳): 大きな言語モデル(LLM)は、様々なタスクにおいて顕著な進歩を遂げています。
しかし、それらが情報抽出(IE)タスクの競合的数ショットソルバであり、微調整された小さな事前学習言語モデル(SLM)を超越するか否かは未解決のままである。
本稿は, LLM と SLM の強みを組み合わせた実効的かつ経済的な IE システムへのアプローチを検討することを目的としている。
3つのIEタスクにまたがる8つのデータセットに関する広範な実験を通して、LLMは、ほとんどの設定で不満足な性能と高いレイテンシと予算要件を考えると、一般的には有効でないことを示す。
しかし, LLM は SLM を十分に補完し, SLM が抱えるハードサンプルを効果的に解決できることを示す。
そこで本研究では,slmがフィルタとして,llmがリランクとして機能する適応型フィルタ・then-rerankパラダイムを提案する。
LLMを用いてSLMが特定したサンプルのごく一部を再現することにより,各IEタスクにおける有望な改善(2.1% F1ゲイン)を実現し,時間と費用を許容できる。
関連論文リスト
- OPDAI at SemEval-2024 Task 6: Small LLMs can Accelerate Hallucination
Detection with Weakly Supervised Data [1.3981625092173873]
本稿では,LLMの幻覚検出システムについて述べる。
SemEval-2024 Task 6のモデル非依存トラックで2位を獲得した。
論文 参考訳(メタデータ) (2024-02-20T11:01:39Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for
Themselves [63.33254282051988]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳(メタデータ) (2023-11-07T18:43:34Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Large Language Model Cascades with Mixture of Thoughts Representations
for Cost-efficient Reasoning [19.472937476936636]
大きな言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示していますが、この強力なパフォーマンスは、しばしば有料のAPIサービスを使用するコストが高くなります。
本稿では, LLM のコスト削減を目的とした LLM カスケードの構築について検討する。
提案するカスケードは,より強力なLCMのみを使用すれば性能が向上するが,コストの40%しか必要としない。
論文 参考訳(メタデータ) (2023-10-04T18:21:17Z) - Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。
本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
論文 参考訳(メタデータ) (2023-09-15T07:22:56Z) - MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language
Models [75.85429963948769]
最初の総合的MLLM評価ベンチマークMMEを示す。
知覚能力と認知能力の両方を合計14のサブタスクで測定する。
総計30個のMLLMをMMEで総合的に評価した。
論文 参考訳(メタデータ) (2023-06-23T09:22:36Z) - Small Language Models Improve Giants by Rewriting Their Outputs [18.025736098795296]
本研究では,大規模言語モデル(LLM)の性能向上にトレーニングデータを活用するという課題に,微調整なしで対処する。
我々は、数発のプロンプトによってLSMから候補のプールを作成し、コンパクトモデルLM-corrector(LMCor)を用いて、これらの候補をマージして拡張出力を生成するように特別に訓練した。
4つの自然言語生成タスクの実験により、小さな LMCor モデル (250M) でさえ、LLM (62B) の少数ショット性能を大幅に改善し、マッチングや標準微調整よりも優れることを示した。
論文 参考訳(メタデータ) (2023-05-22T22:07:50Z) - Validating Large Language Models with ReLM [11.552979853457117]
大規模言語モデル(LLM)は、自然に聞こえるテキストを生成する能力があるとして、高く評価されている。
データ記憶、バイアス、不適切な言語など、LLMのネガティブな影響に関する懸念が高まっている。
本稿では,標準正規表現を用いたLLMの検証・クエリシステムであるReLMを紹介する。
論文 参考訳(メタデータ) (2022-11-21T21:40:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。