論文の概要: BSDAR: Beam Search Decoding with Attention Reward in Neural Keyphrase Generation

• arxiv url: http://arxiv.org/abs/1909.09485v2
• Date: Mon, 30 Oct 2023 04:33:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 18:54:09.886229
• Title: BSDAR: Beam Search Decoding with Attention Reward in Neural Keyphrase Generation
• Title（参考訳）: bsdar: ニューラルキーフレーズ生成における注意報奨付きビーム探索復号
• Authors: Iftitahu Ni'mah, Vlado Menkovski, Mykola Pechenizkiy
• Abstract要約: 本研究では,単語レベルとngramレベルの報酬関数に基づくビーム探索復号法を導入し,テスト時にSeq2Seq推論を制約・洗練する。 その結果,提案手法はアルゴリズムのバイアスを克服し,符号化性能を大幅に向上させることができた。
• 参考スコア（独自算出の注目度）: 22.512774028870922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study mainly investigates two common decoding problems in neural keyphrase generation: sequence length bias and beam diversity. To tackle the problems, we introduce a beam search decoding strategy based on word-level and ngram-level reward function to constrain and refine Seq2Seq inference at test time. Results show that our simple proposal can overcome the algorithm bias to shorter and nearly identical sequences, resulting in a significant improvement of the decoding performance on generating keyphrases that are present and absent in source text.
• Abstract（参考訳）: 本研究は, ニューラルキーフレーズ生成における2つの共通デコード問題, シーケンス長バイアスとビーム多様性について検討した。 そこで本研究では,単語レベルとngramレベルの報酬関数に基づくビーム探索復号手法を導入し,seq2seq推論をテスト時に制約・洗練する。 その結果,提案手法はアルゴリズムのバイアスを克服し,より短く,ほぼ同一のシーケンスに到達し,ソーステキストに存在しないキーフレーズを生成する際の復号性能が大幅に向上した。

関連論文リスト

• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• A Token-Wise Beam Search Algorithm for RNN-T [3.682821163882332]
  本稿では,複数の時間ステップにまたがる共同ネットワークコールをバッチ化する復号ビーム探索アルゴリズムを提案する。 さらに、セグメント上での放射確率の集約は、最も可能性の高いモデル出力を見つけるためのより良い近似と見なすことができる。
  論文  参考訳（メタデータ） (2023-02-28T07:20:49Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• A Call for Clarity in Beam Search: How It Works and When It Stops [125.55175954381991]
  我々は、このビーム復号化実装の簡単な修正である忍耐係数を導入し、停止基準を一般化し、探索深度に柔軟性を提供する。 実験結果から,この忍耐率の調整は,ニューステキスト要約および多言語対における機械翻訳において,強い事前学習されたモデルの復号性能を向上させることが示された。
  論文  参考訳（メタデータ） (2022-04-11T22:03:44Z)
• DISCO : efficient unsupervised decoding for discrete natural language problems via convex relaxation [1.370633147306388]
  テスト時間デコーディングは,自然言語処理(NLP)問題にまたがるほぼすべての逐次テキスト生成タスクにおいて,ユビキタスなステップである。 我々の主な貢献は、NPハード復号問題に対する連続緩和フレームワークの開発であり、標準1次勾配に基づく効率的なアルゴリズムであるディスコを提案することである。
  論文  参考訳（メタデータ） (2021-07-07T00:40:25Z)
• Determinantal Beam Search [75.84501052642361]
  ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。 複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。 ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
  論文  参考訳（メタデータ） (2021-06-14T13:01:46Z)
• Keyphrase Extraction with Dynamic Graph Convolutional Networks and Diversified Inference [50.768682650658384]
  キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。 最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。 本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
  論文  参考訳（メタデータ） (2020-10-24T08:11:23Z)
• Exclusive Hierarchical Decoding for Deep Keyphrase Generation [63.357895318562214]
  キーフレーズ生成(KG)は、文書の主要なアイデアをキーフレーズの集合にまとめることを目的としている。 この設定の以前の作業では、キーフレーズを生成するためのシーケンシャルなデコードプロセスが使用されている。 本稿では,階層的復号化プロセスとソフトかハードかのいずれかを含む排他的階層的復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-18T02:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。