論文の概要: Context-NER : Contextual Phrase Generation at Scale

• arxiv url: http://arxiv.org/abs/2109.08079v4
• Date: Thu, 8 Jun 2023 18:33:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 18:43:41.249405
• Title: Context-NER : Contextual Phrase Generation at Scale
• Title（参考訳）: コンテキストNER : スケールでの文脈的フレーズ生成
• Authors: Himanshu Gupta, Shreyas Verma, Santosh Mashetty, Swaroop Mishra
• Abstract要約: 文中のエンティティに関連するコンテキストを生成するタスクであるCONTEXT-NERを紹介する。 EDGAR10-Qデータセットは,100万文,2.8万エンティティ,平均35トークンを含む。 EDGAR10-Qで事前調整したT5-largeは,Headline,FPB,FiQA SAなどの下流財務タスクにおいてSOTA結果を得ることができ,バニラバージョンを10.81ポイント上回った。
• 参考スコア（独自算出の注目度）: 4.7947627446578025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Named Entity Recognition (NER) has seen significant progress in recent years, with numerous state-of-the-art (SOTA) models achieving high performance. However, very few studies have focused on the generation of entities' context. In this paper, we introduce CONTEXT-NER, a task that aims to generate the relevant context for entities in a sentence, where the context is a phrase describing the entity but not necessarily present in the sentence. To facilitate research in this task, we also present the EDGAR10-Q dataset, which consists of annual and quarterly reports from the top 1500 publicly traded companies. The dataset is the largest of its kind, containing 1M sentences, 2.8M entities, and an average of 35 tokens per sentence, making it a challenging dataset. We propose a baseline approach that combines a phrase generation algorithm with inferencing using a 220M language model, achieving a ROUGE-L score of 27% on the test split. Additionally, we perform a one-shot inference with ChatGPT, which obtains a 30% ROUGE-L, highlighting the difficulty of the dataset. We also evaluate models such as T5 and BART, which achieve a maximum ROUGE-L of 49% after supervised finetuning on EDGAR10-Q. We also find that T5-large, when pre-finetuned on EDGAR10-Q, achieve SOTA results on downstream finance tasks such as Headline, FPB, and FiQA SA, outperforming vanilla version by 10.81 points. To our surprise, this 66x smaller pre-finetuned model also surpasses the finance-specific LLM BloombergGPT-50B by 15 points. We hope that our dataset and generated artifacts will encourage further research in this direction, leading to the development of more sophisticated language models for financial text analysis
• Abstract（参考訳）: 名前付きエンティティ認識(NER)は近年大きな進歩を遂げており、多くの最先端(SOTA)モデルが高性能を実現している。 しかし、エンティティのコンテキストの生成に焦点を当てた研究はほとんどない。 本稿では,conTEXT-NERという文中のエンティティに関連するコンテキストを生成するタスクを紹介する。 edgar10-qデータセットは、上位1500の上場企業からの年次および四半期ごとのレポートで構成されている。 データセットは、100万の文、280万のエンティティ、平均35のトークンを含む、その種類の中で最大のもので、難しいデータセットである。 本稿では,220M言語モデルを用いたフレーズ生成アルゴリズムと推論を組み合わせたベースラインアプローチを提案し,テスト分割でROUGE-Lスコアが27%に達した。 さらに,データセットの難易度を強調する30%ルージュlを得るchatgptを用いて,ワンショット推論を行う。 また,EDGAR10-Qの微調整を監督した後,最大ROUGE-Lを49%向上させるT5やBARTなどのモデルも評価した。 また, EDGAR10-Qで事前調整したT5-largeは, Headline, FPB, FiQA SAなどの下流財務タスクにおいてSOTAの結果を10.81ポイント上回った。 驚いたことに、この66倍の小型のプレファインチュアモデルも、金融に特化したLLM BloombergGPT-50Bを15ポイント上回っている。 我々は、我々のデータセットと生成されたアーティファクトがこの方向をさらに研究し、金融テキスト分析のためのより洗練された言語モデルの開発につながることを期待している。

関連論文リスト

• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• Information Extraction: An application to the domain of hyper-local financial data on developing countries [0.0]
  この問題に対処する2つの自然言語処理技術(NLP)を開発し評価する。 まず、発展途上国の財務テキストデータのドメインに特有のカスタムデータセットをキュレートする。 次に,変換器をベースとしたT5モデルを用いてテキストからテキストへのアプローチを探索し,NERと関係抽出を同時に行うことを目的とする。
  論文  参考訳（メタデータ） (2024-03-14T03:49:36Z)
• Text2Analysis: A Benchmark of Table Question Answering with Advanced Data Analysis and Unclear Queries [67.0083902913112]
  高度な解析タスクを取り入れたText2Analysisベンチマークを開発した。 また,5つのイノベーティブかつ効果的なアノテーション手法を開発した。 3つの異なる指標を用いて5つの最先端モデルを評価する。
  論文  参考訳（メタデータ） (2023-12-21T08:50:41Z)
• Evaluating Generative Models for Graph-to-Text Generation [0.0]
  ゼロショット設定でグラフデータから記述テキストを生成するための生成モデルの能力について検討する。 この結果から, 生成モデルにより, 流動的で一貫性のあるテキストを生成できることが示唆された。 しかし, 誤り解析の結果, 生成モデルは実体間の意味的関係の理解に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2023-07-27T09:03:05Z)
• SEntFiN 1.0: Entity-Aware Sentiment Analysis for Financial News [0.03018439717785794]
  SentFiN 1.0は10,753のニュースヘッドラインとエンティティ・センチメント・アノテーションを備えた人為的注釈付きデータセットです。 本稿では,表現に基づくアプローチではなく,特徴に基づくアプローチを用いて,エンティティ関連感情の抽出を可能にするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-20T18:20:39Z)
• Larger Probes Tell a Different Story: Extending Psycholinguistic Datasets Via In-Context Learning [14.606961537327345]
  我々は、精神言語学研究に触発された否定と役割逆転のための、より大規模なデータセットを導入する。 GPT3 を用いて既存の NEG-136 と ROLE-88 ベンチマークを劇的に拡張し,それぞれ 18 と 44 の文対から 750 にサイズを拡大した。 拡張データセット上で22のモデルを評価し、オリジナルのより小さなベンチマークと比較すると、モデル性能は20～57%低下した。
  論文  参考訳（メタデータ） (2023-03-29T04:00:53Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)
• Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
  本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。 我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。 エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
  論文  参考訳（メタデータ） (2022-10-13T15:18:04Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)
• HaT5: Hate Language Identification using Text-to-Text Transfer Transformer [1.2532400738980594]
  比較的多様な2つのデータセットから5つのタスクにまたがる最先端技術(SoTA)アーキテクチャT5の性能について検討する。 性能向上のために,自己回帰モデルを用いてトレーニングデータを増強する。 サンプルの小さなセットを使用することで、データアノテーションが貧弱であることの難しさを明らかにします。
  論文  参考訳（メタデータ） (2022-02-11T15:21:27Z)
• TAT-QA: A Question Answering Benchmark on a Hybrid of Tabular and Textual Content in Finance [71.76018597965378]
  TAT-QAと呼ばれるタブラデータとテクスチャデータの両方を含む新しい大規模な質問応答データセットを構築します。 本稿では,テーブルとテキストの両方を推論可能な新しいQAモデルであるTAGOPを提案する。
  論文  参考訳（メタデータ） (2021-05-17T06:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。