論文の概要: Mastering the Task of Open Information Extraction with Large Language
Models and Consistent Reasoning Environment
- arxiv url: http://arxiv.org/abs/2310.10590v1
- Date: Mon, 16 Oct 2023 17:11:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 12:51:28.561673
- Title: Mastering the Task of Open Information Extraction with Large Language
Models and Consistent Reasoning Environment
- Title(参考訳): 大規模言語モデルと一貫性推論環境を用いたオープン情報抽出課題の習得
- Authors: Ji Qi, Kaixuan Ji, Xiaozhi Wang, Jifan Yu, Kaisheng Zeng, Lei Hou,
Juanzi Li, Bin Xu
- Abstract要約: オープン情報抽出(OIE)は、自然文から客観的な構造化された知識を抽出することを目的としている。
大規模言語モデル(LLM)は、テキスト内学習能力に優れています。
- 参考スコア(独自算出の注目度): 52.592199835286394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open Information Extraction (OIE) aims to extract objective structured
knowledge from natural texts, which has attracted growing attention to build
dedicated models with human experience. As the large language models (LLMs)
have exhibited remarkable in-context learning capabilities, a question arises
as to whether the task of OIE can be effectively tackled with this paradigm? In
this paper, we explore solving the OIE problem by constructing an appropriate
reasoning environment for LLMs. Specifically, we first propose a method to
effectively estimate the discrepancy of syntactic distribution between a LLM
and test samples, which can serve as correlation evidence for preparing
positive demonstrations. Upon the evidence, we introduce a simple yet effective
mechanism to establish the reasoning environment for LLMs on specific tasks.
Without bells and whistles, experimental results on the standard CaRB benchmark
demonstrate that our $6$-shot approach outperforms state-of-the-art supervised
method, achieving an $55.3$ $F_1$ score. Further experiments on TACRED and
ACE05 show that our method can naturally generalize to other information
extraction tasks, resulting in improvements of $5.7$ and $6.8$ $F_1$ scores,
respectively.
- Abstract(参考訳): オープンインフォメーション抽出(OIE)は、自然テキストから客観的に構造化された知識を抽出することを目的としている。
大規模言語モデル (LLMs) が目覚ましい文脈内学習能力を示したため、OIEの課題がこのパラダイムに効果的に取り組むことができるのかという疑問が持ち上がった。
本稿では,LLMの適切な推論環境を構築することで,OIE問題の解法を検討する。
具体的には,まず,正の実証を行うための相関証拠として機能する,llmと試験試料間の構文分布の不一致を効果的に推定する手法を提案する。
そこで本研究では,LLMの推論環境を具体的かつ効果的に構築するためのメカニズムを提案する。
ベルとホイッスルがなければ、標準的なCARBベンチマークの実験結果から、我々の6ドルショットのアプローチは最先端の教師あり手法よりも優れており、45.3ドルのF_1ドルのスコアを達成している。
TACREDとACE05のさらなる実験により、我々の方法は自然に他の情報抽出タスクに一般化できることが示され、その結果、それぞれ5.7$と6.8$のF_1$スコアが改善された。
関連論文リスト
- From Summary to Action: Enhancing Large Language Models for Complex
Tasks with Open World APIs [62.496139001509114]
大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。
このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。
ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2024-02-28T08:42:23Z) - Identifying Factual Inconsistency in Summaries: Towards Effective
Utilization of Large Language Model [50.71344457241456]
この研究は2つの重要な疑問に焦点をあてる: 現実の不整合検出に大規模言語モデル(LLM)を利用する最善の方法は何か、そして、どのようにしてより小さなLCMを高い効率と有効性で蒸留できるのか?
実験の結果、LLM自体が適切なパラダイム設計の下でこのタスクを無断で解決でき、訓練されたベースラインが平均2.8%を超えることが示唆された。
実用性をさらに向上するため,我々はより小型のオープンソースLCMを蒸留し,要約全体を高精度にまとめることを目指す訓練戦略を提案する。
論文 参考訳(メタデータ) (2024-02-20T08:41:23Z) - C-ICL: Contrastive In-context Learning for Information Extraction [44.08005184704089]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。
各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-02-17T11:28:08Z) - Heuristic-Driven Link-of-Analogy Prompting: Enhancing Large Language
Models for Document-Level Event Argument Extraction [13.42926436351462]
本稿では,Huristic-Driven Link-of-Alogy (HD-LoA)を導入し,サンプル選択の課題に対処する。
人間の類推的推論にインスパイアされ,LLMが新たな状況に対処できるリンク・オブ・アナロジー・プロンプトを提案する。
実験により,本手法は文書レベルのAEデータセット上で,既存のプロンプト手法や数発の教師付き学習手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-11-11T12:05:01Z) - Measuring and Improving Chain-of-Thought Reasoning in Vision-Language
Models [65.748973163151]
視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。
我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。
本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-08T17:49:44Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳(メタデータ) (2023-06-07T17:47:03Z) - Asking Before Action: Gather Information in Embodied Decision Making
with Language Models [9.167993825872102]
本研究では,Large Language Models (LLMs) が不慣れな環境にデプロイした場合,必要な情報を効率的に収集する上で,課題に直面していることを示す。
Askingtextit Before Action (ABA) は、自然言語を用いて外部ソースを積極的にクエリする手法である。
提案手法を具体化意思決定ベンチマークであるALFWorldで実証的に評価し,本手法がベースラインLLMエージェントを40ドル以上超えることを示した。
論文 参考訳(メタデータ) (2023-05-25T04:05:08Z) - Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。
我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。
AMPLIFYは,幅広いタスクに対して約10~25%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-05-19T04:46:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。