論文の概要: Transformers Go for the LOLs: Generating (Humourous) Titles from Scientific Abstracts End-to-End

• arxiv url: http://arxiv.org/abs/2212.10522v2
• Date: Tue, 26 Dec 2023 18:05:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 23:18:23.022049
• Title: Transformers Go for the LOLs: Generating (Humourous) Titles from Scientific Abstracts End-to-End
• Title（参考訳）: トランスフォーマーがLOLに挑戦:科学的な抽象概念を端から端へ
• Authors: Yanran Chen and Steffen Eger
• Abstract要約: 我々は,最新のトランスフォーマーモデル7つを探索し,終端から終端までの抽象タイトル生成問題を考察する。 また、ユーモラスな紙のタイトルを生成することの難しさについても検討する。 後者では,NLP/MLドメインの科学論文を対象とした,最初の大規模ユーモア注釈データセットをコンパイルする。
• 参考スコア（独自算出の注目度）: 26.53850343633923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the end-to-end abstract-to-title generation problem, exploring seven recent transformer based models (including ChatGPT) fine-tuned on more than 30k abstract-title pairs from NLP and machine learning (ML) venues. As an extension, we also consider the harder problem of generating humorous paper titles. For the latter, we compile the first large-scale humor annotated dataset for scientific papers in the NLP/ML domains, comprising almost ~2.6k titles. We evaluate all models using human and automatic metrics. Our human evaluation suggests that our best end-to-end system performs similarly to human authors (but arguably slightly worse). Generating funny titles is more difficult, however, and our automatic systems clearly underperform relative to humans and often learn dataset artefacts of humor. Finally, ChatGPT, without any fine-tuning, performs on the level of our best fine-tuned system.
• Abstract（参考訳）: 我々は、NLPと機械学習(ML)の会場から30万以上の抽象タイトルペアを微調整した7つの最新のトランスフォーマーベースモデル(ChatGPTを含む)を探索し、エンドツーエンドの抽象タイトル生成問題を考察する。 拡張として,ユーモラスな紙タイトルを作成することの難しさも考察する。 後者では、NLP/MLドメインにおける科学論文のための最初の大規模なユーモアアノテートデータセットをコンパイルし、約2.6kのタイトルを含む。 人的および自動メトリクスを用いて、すべてのモデルを評価する。 人間の評価は、私たちの最高のエンドツーエンドシステムは、人間の著者と同様の働きをすることを示している(しかし、明らかに少し悪い)。 しかし、面白いタイトルを生成することはより困難であり、我々の自動システムは明らかに人間と比べパフォーマンスが劣り、ユーモアのデータセットアーティファクトを学ぶことが多い。 最後に、ChatGPTは微調整なしで、最高の微調整システムのレベルで動作します。

関連論文リスト

• Integrating Planning into Single-Turn Long-Form Text Generation [66.08871753377055]
  長文コンテンツを生成するための計画案を提案する。 私たちの主な新規性は、複数のプロンプトや計画のラウンドを必要としない単一の補助的なタスクにあります。 実験では,LLMを補助タスクで微調整し,高品質な文書を生成する,異なる領域からの2つのデータセットを実証した。
  論文  参考訳（メタデータ） (2024-10-08T17:02:40Z)
• Can pre-trained language models generate titles for research papers? [3.3489486000815765]
  本稿では,論文のタイトルを要約から生成するために,事前学習した言語モデルを微調整する。 また、ゼロショット設定でGPT-3.5-turboを使用して、紙のタイトルを生成する。 我々の観察では、AIが生成した論文のタイトルは一般的に正確で適切であることが示唆されている。
  論文  参考訳（メタデータ） (2024-09-22T21:34:49Z)
• LitLLM: A Toolkit for Scientific Literature Review [15.080020634480272]
  Toolkit は Retrieval Augmented Generation (RAG) の原則に基づいている。 システムはまずWeb検索を開始し、関連書類を検索する。 第2に、ユーザが提供する抽象化に基づいて、検索した論文を再ランクする。 第3に、再ランクされた結果と要約に基づいて、関連する作業部を生成する。
  論文  参考訳（メタデータ） (2024-02-02T02:41:28Z)
• BERT Goes Off-Topic: Investigating the Domain Transfer Challenge using Genre Classification [0.27195102129095]
  トピックの分布が変化すると、分類タスクは依然としてパフォーマンスのギャップに悩まされる。 我々はこの現象を、大きなコーパスと大きなトピックセットで実証的に定量化する。 学習データセットを局所的に制御された合成テキストで強化した後、いくつかのトピックでF1スコアは最大50%改善する。
  論文  参考訳（メタデータ） (2023-11-27T18:53:31Z)
• TransHuman: A Transformer-based Human Representation for Generalizable Neural Human Rendering [52.59454369653773]
  我々は,異なる文字の多視点ビデオから条件付き放射場(NeRF)を訓練する,一般化可能なニューラルレンダリングの課題に焦点をあてる。 以前は、SparseConvNet(SPC)ベースの人間表現を使用して、塗装されたSMPLを処理していた。 そこで,本論文では,手書きSMPLを標準空間下で学習し,人的部分間のグローバルな関係を捉える,TransHumanという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-23T10:59:51Z)
• Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
  ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。 自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。 本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
  論文  参考訳（メタデータ） (2023-07-05T20:16:20Z)
• Shall We Pretrain Autoregressive Language Models with Retrieval? A Comprehensive Study [115.96080028033904]
  本稿では,拡張性のある事前学習型検索拡張LM(RETRO)について,標準GPTと検索拡張GPTと比較した。 本研究は, 将来の基盤モデルとしての検索による自己回帰型LMの事前学習の方向性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-04-13T18:04:19Z)
• Summarization with Graphical Elements [55.5913491389047]
  本稿では,グラフィカル要素による要約という新しい課題を提案する。 タスクの研究を支援するために,高品質なラベル付きデータセットを収集する。
  論文  参考訳（メタデータ） (2022-04-15T17:16:41Z)
• Paperswithtopic: Topic Identification from Paper Title Only [5.025654873456756]
  人工知能(AI)分野からタイトルとサブフィールドで組み合わせた論文のデータセットを提示する。 また、論文タイトルのみから、論文のAIサブフィールドを予測する方法についても提示する。 変圧器モデルに対しては、モデルの分類過程をさらに説明するために、勾配に基づく注意可視化も提示する。
  論文  参考訳（メタデータ） (2021-10-09T06:32:09Z)
• Domain Controlled Title Generation with Human Evaluation [2.5505887482902287]
  良いタイトルは、あなたの研究に値する注目を集めることができます。 ドメイン制御のタイトルでは、事前学習されたテキストからテキストへのトランスフォーマーモデルと追加のトークン技術を使用しました。 タイトルトークンは、グローバル語彙ではなく、ドメイン固有の語彙のローカル分布(グローバル語彙のサブセット)からサンプリングされます。
  論文  参考訳（メタデータ） (2021-03-08T20:55:55Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。