論文の概要: A Monte Carlo Language Model Pipeline for Zero-Shot Sociopolitical Event Extraction

• arxiv url: http://arxiv.org/abs/2305.15051v2
• Date: Sun, 2 Jun 2024 19:17:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 21:29:55.979170
• Title: A Monte Carlo Language Model Pipeline for Zero-Shot Sociopolitical Event Extraction
• Title（参考訳）: ゼロショット社会政治イベント抽出のためのモンテカルロ言語モデルパイプライン
• Authors: Erica Cai, Brendan O'Connor,
• Abstract要約: イベント抽出は、研究者が新しい研究課題に対する任意のイベントクラスを柔軟に指定することを可能にする。 現在のゼロショットEE法は、単純な生成言語モデル(LM)の単純なゼロショットアプローチと同様に、ダイアドイベント抽出では不十分である。 我々はこれらの課題に,多段階の命令追従型LMパイプラインを新たに導入して対処する。 我々はパイプラインの国際関係解析への応用を実演する。
• 参考スコア（独自算出の注目度）: 4.818309069556584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current social science efforts automatically populate event databases of "who did what to whom?" tuples, by applying event extraction (EE) to text such as news. The event databases are used to analyze sociopolitical dynamics between actor pairs (dyads) in, e.g., international relations. While most EE methods heavily rely on rules or supervised learning, \emph{zero-shot} event extraction could potentially allow researchers to flexibly specify arbitrary event classes for new research questions. Unfortunately, we find that current zero-shot EE methods, as well as a naive zero-shot approach of simple generative language model (LM) prompting, perform poorly for dyadic event extraction; most suffer from word sense ambiguity, modality sensitivity, and computational inefficiency. We address these challenges with a new fine-grained, multi-stage instruction-following generative LM pipeline, proposing a Monte Carlo approach to deal with, and even take advantage of, nondeterminism of generative outputs. Our pipeline includes explicit stages of linguistic analysis (synonym generation, contextual disambiguation, argument realization, event modality), \textit{improving control and interpretability} compared to purely neural methods. This method outperforms other zero-shot EE approaches, and outperforms naive applications of generative LMs by at least 17 F1 percent points. The pipeline's filtering mechanism greatly improves computational efficiency, allowing it to perform as few as 12% of queries that a previous zero-shot method uses. Finally, we demonstrate our pipeline's application to dyadic international relations analysis.
• Abstract（参考訳）: 現在の社会科学の取り組みは、ニュースなどのテキストにイベント抽出(EE)を適用することで、誰が誰に何をしたのか? イベントデータベースは、例えば国際関係においてアクターペア(ダイアド)間の社会政治的ダイナミクスを分析するために使用される。 ほとんどのEEメソッドはルールや教師付き学習に大きく依存しているが、 \emph{zero-shot} イベント抽出によって、研究者は新しい研究課題に対して任意のイベントクラスを柔軟に指定できる可能性がある。 残念なことに、現在のゼロショットEE法は、単純な生成言語モデル(LM)の素直なゼロショットアプローチと同様に、ダイアディックなイベント抽出には不適当であり、多くは単語感覚の曖昧さ、モダリティの感度、計算不効率に悩まされている。 これらの課題に対処するため,我々はモンテカルロアプローチを提案し,生成出力の非決定性を生かした,より微細でマルチステージな命令追従型LMパイプラインを提案する。 我々のパイプラインは、純粋に神経的手法と比較して、言語分析の明確な段階(合成生成、文脈的曖昧化、議論の実現、事象のモダリティ)を含む。 この方法は、他のゼロショットEEアプローチよりも優れており、生成型LMのナイーブな応用を少なくとも17F1%上回る。 パイプラインのフィルタリング機構は計算効率を大幅に改善し、以前のゼロショット方式で使用したクエリの12%までしか実行できない。 最後に,パイプラインの国際関係解析への応用を実演する。

関連論文リスト

• Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows [53.31856123113228]
  本稿では,言語認識フロー (ours) を提案する。 本手法は, 標準確率流モデルの再構成に基づく。 実験およびアブレーション実験により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。
  論文  参考訳（メタデータ） (2024-03-25T17:58:22Z)
• SumTra: A Differentiable Pipeline for Few-Shot Cross-Lingual Summarization [8.971234046933349]
  言語間要約(XLS)は、入力文書とは異なる言語で要約を生成する。 本稿では,要約と翻訳のパイプラインを再検討し,要約と翻訳のタスクをシーケンスで実行することを提案する。 このアプローチは、モノリンガル要約と翻訳のための多くの公開リソースを再利用し、非常に競争力のあるゼロショット性能を得る。
  論文  参考訳（メタデータ） (2024-03-20T02:04:42Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
  リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。 近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。 本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-08T06:17:39Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• Retrieval-Augmented Generative Question Answering for Event Argument Extraction [66.24622127143044]
  イベント引数抽出のための検索拡張生成QAモデル(R-GQA)を提案する。 最も類似したQAペアを検索し、現在の例のコンテキストへのプロンプトとして拡張し、引数を回答としてデコードする。 提案手法は, 様々な設定において, かなり先行した手法より優れている。
  論文  参考訳（メタデータ） (2022-11-14T02:00:32Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Improving Zero-Shot Event Extraction via Sentence Simplification [28.516348706626307]
  イベント抽出は、進行中の地政学的危機への窓口を提供し、実行可能なインテリジェンスをもたらす。 近年,イベント抽出のための新しいパラダイムとして,機械読み取り(MRC)が登場している。 MRCモデル自体によって誘導される教師なし文の単純化を行うことにより、MRCに基づくイベント抽出の性能を向上させるための一般的な手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T01:14:50Z)
• Training Data is More Valuable than You Think: A Simple and Effective Method by Retrieving from Training Data [82.92758444543689]
  検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。 意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。 実験結果から,本手法は様々なNLUタスクやNLGタスクにおいて,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T17:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。