論文の概要: Exploring Fine-tuned Generative Models for Keyphrase Selection: A Case Study for Russian

• arxiv url: http://arxiv.org/abs/2409.10640v2
• Date: Wed, 18 Sep 2024 07:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 12:04:00.632971
• Title: Exploring Fine-tuned Generative Models for Keyphrase Selection: A Case Study for Russian
• Title（参考訳）: キーフレーズ選択のための微調整生成モデル探索:ロシア語を事例として
• Authors: Anna Glazkova, Dmitry Morozov,
• Abstract要約: 我々は、ロシア語の科学文献におけるキーフレーズ選択の特定のタスクに対して、微調整による生成トランスフォーマーモデルを適用する方法について検討した。 実験は、数学とコンピュータ科学、歴史、医学、言語学という4つの領域のロシアの科学的抽象のテキスト上で行われた。 生成モデル、すなわちmBARTの使用は、ロシア語の3つのキーフレーズ抽出ベースラインよりも、ドメイン内のパフォーマンス(BERTScoreが4.9%、ROUGE-1が9.0%、F1スコアが12.2%)が向上した。
• 参考スコア（独自算出の注目度）: 1.565361244756411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Keyphrase selection plays a pivotal role within the domain of scholarly texts, facilitating efficient information retrieval, summarization, and indexing. In this work, we explored how to apply fine-tuned generative transformer-based models to the specific task of keyphrase selection within Russian scientific texts. We experimented with four distinct generative models, such as ruT5, ruGPT, mT5, and mBART, and evaluated their performance in both in-domain and cross-domain settings. The experiments were conducted on the texts of Russian scientific abstracts from four domains: mathematics & computer science, history, medicine, and linguistics. The use of generative models, namely mBART, led to gains in in-domain performance (up to 4.9% in BERTScore, 9.0% in ROUGE-1, and 12.2% in F1-score) over three keyphrase extraction baselines for the Russian language. Although the results for cross-domain usage were significantly lower, they still demonstrated the capability to surpass baseline performances in several cases, underscoring the promising potential for further exploration and refinement in this research field.
• Abstract（参考訳）: キーフレーズの選択は学術テキストの領域において重要な役割を担い、効率的な情報検索、要約、索引付けを容易にする。 本研究では,ロシアの科学文献におけるキーフレーズ選択の特定の課題に対して,微調整型生成トランスフォーマーモデルを適用する方法について検討した。 我々は,ruT5,ruGPT,mT5,mBARTの4つの異なる生成モデルを用いて実験を行った。 この実験は、数学とコンピュータ科学、歴史、医学、言語学という4つの領域のロシアの科学的抽象のテキストに基づいて行われた。 生成モデル、すなわちmBARTの使用は、ロシア語の3つのキーフレーズ抽出ベースラインよりも、ドメイン内のパフォーマンス(BERTScoreが4.9%、ROUGE-1が9.0%、F1スコアが12.2%)が向上した。 クロスドメイン利用の成果は著しく低かったが、いくつかのケースでベースライン性能を上回る能力を示しており、この研究分野におけるさらなる探索と改良の可能性を秘めている。

関連論文リスト

• MSciNLI: A Diverse Benchmark for Scientific Natural Language Inference [65.37685198688538]
  本稿では,5つの科学領域から抽出した132,320の文対を含むデータセットであるMSciNLIについて述べる。 我々は、微調整事前学習言語モデル(PLM)とLarge Language Model(LLM)によるMSciNLIの強力なベースラインを確立する。 ドメインシフトは、データセット内の異なるドメインの多様な特性を示す科学的なNLIモデルの性能を低下させることを示す。
  論文  参考訳（メタデータ） (2024-04-11T18:12:12Z)
• Cross-Domain Robustness of Transformer-based Keyphrase Generation [1.8492669447784602]
  キーフレーズのリストは、データベースや電子文書のリポジトリにおけるテキストの重要な要素である。 本実験では,キーフレーズ生成のために微調整された抽象テキスト要約モデルを用いて,目的のテキストコーパスに対して非常に高い結果を示す。 本稿では,6つのベンチマークコーパス間のキーフレーズ選択タスクに対する微調整BARTモデルの評価を行う。
  論文  参考訳（メタデータ） (2023-12-17T12:27:15Z)
• Automatic Aspect Extraction from Scientific Texts [0.9208007322096533]
  我々は,タスク,コントリビューション,メソッド,コンクルージョンといった側面を付加した,ロシア語の科学テキストのクロスドメインデータセットを提示する。 異なる領域のアスペクト表現にはいくつかの相違があることが示されるが、我々のモデルは限られた数の科学領域で訓練されており、新しい領域に一般化することが可能である。
  論文  参考訳（メタデータ） (2023-10-06T07:59:54Z)
• NaSGEC: a Multi-Domain Chinese Grammatical Error Correction Dataset from Native Speaker Texts [51.64770549988806]
  複数のドメインからのネイティブ話者テキストに対する中国語文法誤り訂正(CGEC)の研究を容易にする新しいデータセットであるNaSGECを紹介する。 対象ドメインを広げるために,3つの母国ドメイン,すなわちソーシャルメディア,科学文献,試験から12,500の文に対する複数の参照を注釈付けする。 我々は,最先端CGECモデルと異なるトレーニングデータを用いて,NaSGECのベンチマーク結果を示す。
  論文  参考訳（メタデータ） (2023-05-25T13:05:52Z)
• GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content [27.901155229342375]
  本稿では,言語モデルを用いたChatGPT生成対人文テキストの検出手法を提案する。 テストデータセットの精度は97%以上で,さまざまな指標から評価した。
  論文  参考訳（メタデータ） (2023-05-13T17:12:11Z)
• ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task [0.0]
  ChatGPTを含むトランスフォーマーベースの言語モデルは、様々な自然言語生成タスクにおいて例外的な性能を示した。 本研究は、ChatGPTのキーフレーズ生成性能と最先端モデルを比較し、この分野における2つの重要な課題に対する解決策としての可能性をテストする。
  論文  参考訳（メタデータ） (2023-04-27T13:25:43Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• Retrieval-based Disentangled Representation Learning with Natural Language Supervision [61.75109410513864]
  本稿では,VDR(Vocabulary Disentangled Retrieval)を提案する。 提案手法では,両エンコーダモデルを用いて語彙空間におけるデータと自然言語の両方を表現する。
  論文  参考訳（メタデータ） (2022-12-15T10:20:42Z)
• Keyword Extraction from Short Texts with~a~Text-To-Text Transfer Transformer [0.0]
  本稿では,ポーランド語におけるテキスト・テキスト・トランスフォーマ言語モデル(T5)の,短文文節からの内在的・外在的キーワード抽出作業との関連性について検討する。 plT5kw, extremeText, TermoPL, KeyBERT という4つの異なる手法で得られた結果を比較し, plT5kw モデルは, 頻繁かつ疎に表現されたキーワードに対して, 特に有望な結果をもたらすと結論付けた。
  論文  参考訳（メタデータ） (2022-09-28T11:31:43Z)
• mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs [51.67970832510462]
  翻訳ペア(mt6)を用いた多言語テキスト間トランスフォーマーの改良 本研究では,機械翻訳,翻訳ペアスパン破壊,翻訳スパン破壊という3つの言語間事前学習タスクについて検討した。 実験の結果,mT6はmT5よりも舌間移動性が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-18T03:24:07Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。