論文の概要: Evaluating Named Entity Recognition Models for Russian Cultural News Texts: From BERT to LLM

• arxiv url: http://arxiv.org/abs/2506.02589v1
• Date: Tue, 03 Jun 2025 08:11:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.422377
• Title: Evaluating Named Entity Recognition Models for Russian Cultural News Texts: From BERT to LLM
• Title（参考訳）: ロシア文化ニューステキストにおける名前付きエンティティ認識モデルの評価:BERTからLLMへ
• Authors: Maria Levchenko,
• Abstract要約: この研究は、1999年から2019年にかけてサンクトペテルブルクで行なわれたイベント発表のコレクションであるSPbLitGuideデータセットを利用している。 確立されたトランスフォーマーベースアーキテクチャを含む多種多様なNERモデルの比較評価を行った。 この研究は、ロシア語のような形態学的にリッチな言語に適用した場合の現在のNERモデル能力と制限のより深い理解に寄与する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses the challenge of Named Entity Recognition (NER) for person names within the specialized domain of Russian news texts concerning cultural events. The study utilizes the unique SPbLitGuide dataset, a collection of event announcements from Saint Petersburg spanning 1999 to 2019. A comparative evaluation of diverse NER models is presented, encompassing established transformer-based architectures such as DeepPavlov, RoBERTa, and SpaCy, alongside recent Large Language Models (LLMs) including GPT-3.5, GPT-4, and GPT-4o. Key findings highlight the superior performance of GPT-4o when provided with specific prompting for JSON output, achieving an F1 score of 0.93. Furthermore, GPT-4 demonstrated the highest precision at 0.99. The research contributes to a deeper understanding of current NER model capabilities and limitations when applied to morphologically rich languages like Russian within the cultural heritage domain, offering insights for researchers and practitioners. Follow-up evaluation with GPT-4.1 (April 2025) achieves F1=0.94 for both simple and structured prompts, demonstrating rapid progress across model families and simplified deployment requirements.
• Abstract（参考訳）: 本稿では、文化イベントに関するロシアのニューステキストの専門ドメインにおける人物名に対する名前付きエンティティ認識(NER)の課題に対処する。 この研究は、1999年から2019年にかけてサンクトペテルブルクで行なわれたイベント発表のコレクションであるSPbLitGuideデータセットを利用している。 GPT-3.5、GPT-4、GPT-4oといった最近のLarge Language Models(LLMs)とともに、DeepPavlov、RoBERTa、SpaCyといった確立したトランスフォーマーベースのアーキテクチャを含む多様なNERモデルの比較評価を行った。 GPT-4oでは,JSON出力の特定のプロンプトが提供され,F1スコアは0.93。 さらに、GPT-4は0.99で最高精度を示した。 この研究は、現在のNERモデル能力と文化遺産領域内のロシア語のような形態学的に豊かな言語に適用した場合の限界をより深く理解し、研究者や実践者に洞察を提供する。 GPT-4.1(2025年4月)によるフォローアップ評価は、単純なプロンプトと構造化されたプロンプトの両方に対してF1=0.94を達成する。

関連論文リスト

• Evaluating Named Entity Recognition: A comparative analysis of mono- and multilingual transformer models on a novel Brazilian corporate earnings call transcripts dataset [3.809702129519642]
  ブラジルポルトガル語で事前訓練された2つのモデル (BERTimbau と PTT5) と2つの多言語モデル (mBERT と mT5) を同定する。 本研究では,ファイナンシャル・ネームド・エンティティ・認識(NER)タスク上での性能評価を行い,微調整と推論のための計算条件を決定することを目的とした。
  論文  参考訳（メタデータ） (2024-03-18T19:53:56Z)
• Distilling Named Entity Recognition Models for Endangered Species from Large Language Models [27.266030092418642]
  名前付きエンティティ認識と2段階プロセスによる関係抽出のためのデータセットを作成する。 構築されたデータセットは、一般的なBERTとドメイン固有のBERTのバリエーションの両方を微調整するために使用される。 実験の結果,本手法は絶滅危惧種をテキストから検出するのに適したNERモデルを作成するのに有効であることがわかった。
  論文  参考訳（メタデータ） (2024-03-13T15:38:55Z)
• GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition? [82.40761196684524]
  本稿では,ゼロショット視覚認識タスクにおけるGPT-4の言語的・視覚的能力の評価に焦点を当てる。 我々は、画像、ビデオ、点群にわたるGPT-4の性能を評価するための広範な実験を行った。 言語記述が充実したGPT-4はゼロショット認識を著しく改善した。
  論文  参考訳（メタデータ） (2023-11-27T11:29:10Z)
• ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction [52.14681890859275]
  電子商取引プラットフォームは、属性と値のペアという形で構造化された製品データを必要とする。 BERTベースの抽出法では,タスク固有の大量のトレーニングデータを必要とする。 本稿では,大規模言語モデル (LLM) を,より訓練的かつ堅牢な代替手段として活用することを検討する。
  論文  参考訳（メタデータ） (2023-10-19T07:39:00Z)
• Large Language Models for Semantic Monitoring of Corporate Disclosures: A Case Study on Korea's Top 50 KOSPI Companies [0.08192907805418582]
  OpenAIのGPT-3.5-turboやGPT-4のような最先端の言語モデルは、複雑なタスクを自動化する前例のない機会を提供する。 本研究は、韓国の文脈における企業情報開示のセマンティック分析におけるこれらのモデルの有効性について考察する。
  論文  参考訳（メタデータ） (2023-09-01T01:51:28Z)
• Large-Scale Text Analysis Using Generative Language Models: A Case Study in Discovering Public Value Expressions in AI Patents [2.246222223318928]
  本稿では,生成言語モデル(GPT-4)を用いて,大規模テキスト解析のためのラベルと論理式を生成する手法を提案する。 InnovationQ+に送信された高度なBooleanクエリを用いて、154,934件の特許文書からなるデータベースを収集する。 我々は、これらのAI特許文中の公開価値表現を識別し、ラベル付けするためのフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-05-17T17:18:26Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [53.78782375511531]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)
• Exploring the Trade-Offs: Unified Large Language Models vs Local Fine-Tuned Models for Highly-Specific Radiology NLI Task [49.50140712943701]
  NLIタスクにおけるChatGPT/GPT-4の性能評価を行い、タスク関連データサンプルに特化して微調整された他のモデルと比較する。 また,ChatGPT/GPT-4の推論能力について,様々な推論難易度を導入して総合的な調査を行った。
  論文  参考訳（メタデータ） (2023-04-18T17:21:48Z)
• GPT-4 Technical Report [116.90398195245983]
  GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。 試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。