論文の概要: Penalty Decoding: Well Suppress the Self-Reinforcement Effect in Open-Ended Text Generation

• arxiv url: http://arxiv.org/abs/2310.14971v1
• Date: Mon, 23 Oct 2023 14:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 19:37:16.249991
• Title: Penalty Decoding: Well Suppress the Self-Reinforcement Effect in Open-Ended Text Generation
• Title（参考訳）: ペナルティ復号:オープンエンディングテキスト生成における自己強化効果の抑制
• Authors: Wenhong Zhu, Hongkun Hao and Rui Wang
• Abstract要約: 本稿では,テキスト生成における自己強化効果と,それを緩和するための繰り返しペナルティの有効性について検討する。 本稿では, 遠いトークンを無視し, ペナルティ選択の負担を軽減する機構を提案する。 また,過度な罰則による過度に短い文に対処するために,長さのペナルティを導入する。
• 参考スコア（独自算出の注目度）: 6.139765897484331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The decoding algorithm is critical for open-ended text generation, transforming latent representations into coherent and meaningful outputs. This paper investigates the self-reinforcement effect in text generation and the effectiveness of a repetition penalty to mitigate it. However, determining the optimal repetition penalty value is challenging. To tackle this, we propose a forgetting mechanism that disregards distant tokens, reducing the burden of penalty selection. In addition, we introduce a length penalty to address overly short sentences caused by excessive penalties. Our penalty decoding approach incorporating three strategies helps resolve issues with sampling methods deviating from factual information. Experimental results demonstrate the efficacy of our approach in generating high-quality sentences resembling human output.
• Abstract（参考訳）: 復号アルゴリズムは、潜在表現をコヒーレントかつ有意義な出力に変換するオープンエンドテキスト生成に不可欠である。 本稿では,テキスト生成における自己強化効果と,それを緩和するための繰り返しペナルティの有効性について検討する。 しかし,最適繰り返しペナルティ値の決定は困難である。 そこで本稿では, 遠いトークンを無視し, ペナルティ選択の負担を軽減する機構を提案する。 また,過度な罰則によって引き起こされる過度な短文に対処するための長刑を導入する。 3つの戦略を取り入れたペナルティ復号法は,実情報から逸脱したサンプリング手法の問題解決に有効である。 実験の結果,人間の出力に類似した高品質文の生成に本手法の有効性が示された。

関連論文リスト

• SenTest: Evaluating Robustness of Sentence Encoders [0.4194295877935868]
  本研究は文エンコーダの堅牢性を評価することに焦点を当てる。 我々はその堅牢性を評価するためにいくつかの敵攻撃を用いる。 実験結果は文エンコーダの堅牢性を強く損なう。
  論文  参考訳（メタデータ） (2023-11-29T15:21:35Z)
• Non-Autoregressive Sentence Ordering [22.45972496989434]
  文間の相互依存を探索し,各位置の文を並列に予測する,textitNAON と呼ばれる新しい非自己回帰順序付けネットワークを提案する。 提案手法は,複数の一般的なデータセットに対して広範囲に実験を行い,提案手法が自己回帰的アプローチよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-10-19T10:57:51Z)
• SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation [72.10931780019297]
  既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。 局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。 実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-06T03:33:42Z)
• Beyond Black Box AI-Generated Plagiarism Detection: From Sentence to Document Level [4.250876580245865]
  既存のAI生成テキスト分類器は精度が限られており、しばしば偽陽性を生成する。 自然言語処理(NLP)技術を用いた新しい手法を提案する。 与えられた質問の複数のパラフレーズ付きバージョンを生成し、それを大きな言語モデルに入力し、回答を生成する。 本研究では,コサイン類似度に基づくコントラスト的損失関数を用いて,生成文と学生の反応とをマッチングする。
  論文  参考訳（メタデータ） (2023-06-13T20:34:55Z)
• Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
  頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。 まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。 SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
  論文  参考訳（メタデータ） (2023-06-01T19:04:17Z)
• Look-back Decoding for Open-Ended Text Generation [62.53302138266465]
  本研究では,現在の復号化過程と過去の復号化過程の分布距離を追跡する改良された復号化アルゴリズムであるLook-backを提案する。 ルックバックは、潜在的反復句とトピックドリフトを自動的に予測し、障害モードを引き起こす可能性のあるトークンを削除することができる。 文書の継続とストーリー生成に関する復号実験を行い、Look-backがより流動的で一貫性のあるテキストを生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-22T20:42:37Z)
• Attributable and Scalable Opinion Summarization [79.87892048285819]
  我々は、頻繁なエンコーディングを復号することで抽象的な要約を生成し、同じ頻繁なエンコーディングに割り当てられた文を選択して抽出的な要約を生成する。 本手法は,要約プロセスの一部として要約を生成するために使用される文を同定するため,帰属的手法である。 なぜなら、アグリゲーションはトークンの長いシーケンスではなく、潜在空間で実行されるからである。
  論文  参考訳（メタデータ） (2023-05-19T11:30:37Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)
• Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation [41.3948101212288]
  本稿では,反復トークンの確率と,その文脈における過去の繰り返しとの関係について検討する。 擬似反復データから文レベルの繰り返しの確率をペナルティ化する訓練手法を提案する。
  論文  参考訳（メタデータ） (2022-06-06T05:51:12Z)
• Block-Sparse Adversarial Attack to Fool Transformer-Based Text Classifiers [49.50163349643615]
  本稿では,変圧器を用いたテキスト分類器に対して,勾配に基づく逆攻撃を提案する。 実験結果から, 文の意味を抑えながら, GPT-2の精度を5%以下に抑えることができた。
  論文  参考訳（メタデータ） (2022-03-11T14:37:41Z)
• Revisiting Paraphrase Question Generator using Pairwise Discriminator [25.449902612898594]
  文レベルの埋め込みを得るための新しい手法を提案する。 提案手法は, 意味的埋め込みを行い, パラフレーズ生成および感情分析タスクにおける最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2019-12-31T02:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。