論文の概要: Can pre-trained language models generate titles for research papers?

• arxiv url: http://arxiv.org/abs/2409.14602v2
• Date: Sun, 13 Oct 2024 18:35:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 21:57:16.608250
• Title: Can pre-trained language models generate titles for research papers?
• Title（参考訳）: 事前学習された言語モデルは研究論文のタイトルを生成することができるか?
• Authors: Tohida Rehman, Debarshi Kumar Sanyal, Samiran Chattopadhyay,
• Abstract要約: 本稿では,論文のタイトルを要約から生成するために,事前学習した言語モデルを微調整する。 また、ゼロショット設定でGPT-3.5-turboを使用して、紙のタイトルを生成する。 我々の観察では、AIが生成した論文のタイトルは一般的に正確で適切であることが示唆されている。
• 参考スコア（独自算出の注目度）: 3.3489486000815765
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The title of a research paper communicates in a succinct style the main theme and, sometimes, the findings of the paper. Coming up with the right title is often an arduous task, and therefore, it would be beneficial to authors if title generation can be automated. In this paper, we fine-tune pre-trained language models to generate titles of papers from their abstracts. Additionally, we use GPT-3.5-turbo in a zero-shot setting to generate paper titles. The performance of the models is measured with ROUGE, METEOR, MoverScore, BERTScore and SciBERTScore metrics. We find that fine-tuned PEGASUS-large outperforms the other models, including fine-tuned LLaMA-3-8B and GPT-3.5-turbo, across most metrics. We also demonstrate that ChatGPT can generate creative titles for papers. Our observations suggest that AI-generated paper titles are generally accurate and appropriate.
• Abstract（参考訳）: 研究論文の題名は、簡潔なスタイルで主テーマを伝え、時には論文の発見を伝える。 タイトル生成が自動化できれば、著者にとってメリットがあるでしょう。 本稿では,論文のタイトルを要約から生成するために,事前学習した言語モデルを微調整する。 さらに、ゼロショット設定でGPT-3.5-turboを使用して、紙タイトルを生成する。 モデルはROUGE、METEOR、MoverScore、BERTScore、SciBERTScoreで測定される。 LLaMA-3-8B や GPT-3.5-turbo といった細調整 PEGASUS-large は,多くの指標において他のモデルよりも優れていた。 また,ChatGPTが論文のクリエイティブなタイトルを生成可能であることも実証した。 我々の観察では、AIが生成した論文のタイトルは一般的に正確で適切であることが示唆されている。

関連論文リスト

• Good things come in three: Generating SO Post Titles with Pre-Trained Models, Self Improvement and Post Ranking [5.874782446136913]
  Stack Overflowは著名なQとAフォーラムであり、開発者がプログラミング関連の問題に適切なリソースを求めるのをサポートする。 高品質な質問タイトルを持つことは、開発者の注意を引き付ける効果的な手段である。 主にトレーニング済みのモデルを活用して、コードスニペットや問題記述からタイトルを生成する研究が行われている。 自己改善とポストランキングを備えた微調整言語モデルを用いて,Stack Overflowのポストタイトルを生成するソリューションとしてFILLERを提案する。
  論文  参考訳（メタデータ） (2024-06-21T20:18:34Z)
• Shall We Pretrain Autoregressive Language Models with Retrieval? A Comprehensive Study [115.96080028033904]
  本稿では,拡張性のある事前学習型検索拡張LM(RETRO)について,標準GPTと検索拡張GPTと比較した。 本研究は, 将来の基盤モデルとしての検索による自己回帰型LMの事前学習の方向性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-04-13T18:04:19Z)
• Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification [58.720142291102135]
  本研究では,実環境における職種分類の課題について検討する。 目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
  論文  参考訳（メタデータ） (2023-03-13T14:09:53Z)
• Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [66.18478838828231]
  マルチモーダルな事前訓練型大型モデルは近年ますます注目を集めている。 本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来の深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・ 次に,マルチモーダル・プレトレーニング・モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワーク,知識強化による事前トレーニングに着目して,MM-PTMについて議論する。
  論文  参考訳（メタデータ） (2023-02-20T15:34:03Z)
• The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
  大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。 本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。 その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
  論文  参考訳（メタデータ） (2023-01-24T02:44:02Z)
• Transformers Go for the LOLs: Generating (Humourous) Titles from Scientific Abstracts End-to-End [26.53850343633923]
  我々は,最新のトランスフォーマーモデル7つを探索し,終端から終端までの抽象タイトル生成問題を考察する。 また、ユーモラスな紙のタイトルを生成することの難しさについても検討する。 後者では,NLP/MLドメインの科学論文を対象とした,最初の大規模ユーモア注釈データセットをコンパイルする。
  論文  参考訳（メタデータ） (2022-12-20T18:37:11Z)
• How Large Language Models are Transforming Machine-Paraphrased Plagiarism [3.8768839735240737]
  本研究は, arXiv, 学生論文, ウィキペディアの科学論文において, 機械パラフレーズ生成のための T5 と GPT-3 について検討する。 6つの自動解法と1つの商用プラジャリズム検出ソフトウェアの検出性能を評価した。 人間の専門家は、GPT-3が生成したパラフレーズの質を原文よりも高く評価する。
  論文  参考訳（メタデータ） (2022-10-07T14:08:57Z)
• Development of an Extractive Title Generation System Using Titles of Papers of Top Conferences for Intermediate English Students [0.0]
  本研究では,抽象語から抽出したキーワードからタイトルを定式化する抽出タイトル生成システムを開発した。 また,紙のタイトルの適切性を評価できるタイトル評価モデルも実現した。 その結果,評価モデルでは,中学生や初心者の生徒よりも,トップコンファレンスタイトルを効果的に識別できることがわかった。
  論文  参考訳（メタデータ） (2021-10-08T15:41:27Z)
• Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
  本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-07T19:01:40Z)
• Domain Controlled Title Generation with Human Evaluation [2.5505887482902287]
  良いタイトルは、あなたの研究に値する注目を集めることができます。 ドメイン制御のタイトルでは、事前学習されたテキストからテキストへのトランスフォーマーモデルと追加のトークン技術を使用しました。 タイトルトークンは、グローバル語彙ではなく、ドメイン固有の語彙のローカル分布(グローバル語彙のサブセット)からサンプリングされます。
  論文  参考訳（メタデータ） (2021-03-08T20:55:55Z)
• Hooks in the Headline: Learning to Generate Headlines with Controlled Styles [69.30101340243375]
  我々は,見出しを3つのスタイルで強化する新しいタスク,Styllistic Headline Generation (SHG)を提案する。 TitleStylistは、要約と再構築タスクをマルチタスクフレームワークに組み合わせることで、スタイル固有の見出しを生成する。 我々のモデルが生成したアトラクションスコアは、最先端の要約モデルの9.68%を超え、人間による参照よりも優れています。
  論文  参考訳（メタデータ） (2020-04-04T17:24:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。