論文の概要: Transformer-based Lexically Constrained Headline Generation

• arxiv url: http://arxiv.org/abs/2109.07080v1
• Date: Wed, 15 Sep 2021 05:09:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 15:07:16.471866
• Title: Transformer-based Lexically Constrained Headline Generation
• Title（参考訳）: 変圧器に基づく語彙制約付き見出し生成
• Authors: Kosuke Yamada, Yuta Hitomi, Hideaki Tamori, Ryohei Sasano, Naoaki Okazaki, Kentaro Inui, Koichi Takeda
• Abstract要約: 本稿では,高品質な生成見出しに与えられたフレーズを組み込むことを保証する,シンプルなTransformerベースの手法を提案する。 日本語ニュースコーパスを用いた実験により,提案手法は生成した見出しに単語を含めることが保証されており,従来のトランスフォーマー方式に匹敵するROUGEスコアが得られることが示された。
• 参考スコア（独自算出の注目度）: 36.32674378039047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores a variant of automatic headline generation methods, where a generated headline is required to include a given phrase such as a company or a product name. Previous methods using Transformer-based models generate a headline including a given phrase by providing the encoder with additional information corresponding to the given phrase. However, these methods cannot always include the phrase in the generated headline. Inspired by previous RNN-based methods generating token sequences in backward and forward directions from the given phrase, we propose a simple Transformer-based method that guarantees to include the given phrase in the high-quality generated headline. We also consider a new headline generation strategy that takes advantage of the controllable generation order of Transformer. Our experiments with the Japanese News Corpus demonstrate that our methods, which are guaranteed to include the phrase in the generated headline, achieve ROUGE scores comparable to previous Transformer-based methods. We also show that our generation strategy performs better than previous strategies.
• Abstract（参考訳）: 本稿では,生成した見出しに企業名や製品名などの特定のフレーズを含める必要がある,自動見出し生成手法の変種について検討する。 トランスベースモデルを用いた以前の方法は、エンコーダに所定の句に対応する追加情報を与えることで、与えられた句を含む見出しを生成する。 しかし、これらの方法は必ずしも生成した見出しにフレーズを含めることはできない。 そこで,従来のrnnベースのトークンシーケンス生成手法に触発されて,高品質な見出しに与えられたフレーズを含めることを保証した,簡易なトランスフォーマー方式を提案する。 また,トランスの制御可能な生成順序を利用した新たなヘッドライン生成戦略も検討する。 日本語ニュースコーパスを用いた実験により,提案手法は生成した見出しに単語を含めることが保証されており,従来のトランスフォーマー方式に匹敵するROUGEスコアが得られることが示された。 また,我々の世代戦略が従来の戦略よりも優れていることを示す。

関連論文リスト

• Most Likely Sequence Generation for $n$-Grams, Transformers, HMMs, and Markov Chains, by Using Rollout Algorithms [3.014160809522789]
  本稿では,ChatGPTの基盤となるような$n$-gram構造を持つ変換器について考察する。 変換器は、単語列を生成するために使用できる次の単語確率を提供する。 これらの確率に基づいて,確率の高い単語列の計算方法を検討する。
  論文  参考訳（メタデータ） (2024-03-19T19:58:46Z)
• Planning with Large Language Models for Code Generation [100.07232672883897]
  Planning-Guided Transformer Decoding (PG-TD) は、計画アルゴリズムを用いてルックアヘッド検索を行い、トランスフォーマーを誘導してより良いプログラムを生成する。 我々は、公開コーディングチャレンジベンチマークのバックボーンとして、いくつかの大きな言語モデルを用いて、我々のフレームワークを実証的に評価する。
  論文  参考訳（メタデータ） (2023-03-09T18:59:47Z)
• Transformer over Pre-trained Transformer for Neural Text Segmentation with Enhanced Topic Coherence [6.73258176462356]
  それは、事前訓練されたトランスフォーマーを用いたボトムレベル文エンコーダと、文埋め込みに基づく上位レベルのトランスフォーマーベースのセグメンテーションモデルである。 実験の結果、Transformer$2$は、一般的に使われているセマンティックコヒーレンス尺度によって、最先端のテキストセグメンテーションモデルを超えていることがわかった。
  論文  参考訳（メタデータ） (2021-10-14T05:26:39Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Pointing to Subwords for Generating Function Names in Source Code [43.36314933559263]
  入力に低頻度または外語彙のサブワードをコピーする2つの方法を提案する。 改良型F1では,従来の手法よりも改善が見られた。
  論文  参考訳（メタデータ） (2020-11-09T08:17:17Z)
• Transformer Based Language Models for Similar Text Retrieval and Ranking [0.0]
  本稿では,ニューラルトランスモデルを類似したテキスト検索とランキングに効果的に適用するための新しいアプローチを提案する。 提案手法は, 単語のバッグ・オブ・ワード・ベースのステップを排除し, クエリに共通する非単語がなくても, 精度よく検索結果を検索・ランク付けすることができる。
  論文  参考訳（メタデータ） (2020-05-10T06:12:53Z)
• Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
  私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。 まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。 次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
  論文  参考訳（メタデータ） (2020-05-05T09:02:25Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
  本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。 本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T17:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。