論文の概要: On Decoding Strategies for Neural Text Generators

• arxiv url: http://arxiv.org/abs/2203.15721v1
• Date: Tue, 29 Mar 2022 16:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 12:40:59.461368
• Title: On Decoding Strategies for Neural Text Generators
• Title（参考訳）: ニューラルテキスト生成器のデコード戦略について
• Authors: Gian Wiher, Clara Meister, Ryan Cotterell
• Abstract要約: 言語生成タスクと復号化戦略の相互作用について検討する。 生成したテキストの属性の変化をデコード戦略とタスクの両方の関数として測定する。 以上の結果から,これまで観察された結果と意外な結果の両方が明らかとなった。
• 参考スコア（独自算出の注目度）: 73.48162198041884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When generating text from probabilistic models, the chosen decoding strategy has a profound effect on the resulting text. Yet the properties elicited by various decoding strategies do not always transfer across natural language generation tasks. For example, while mode-seeking methods like beam search perform remarkably well for machine translation, they have been observed to lead to incoherent and repetitive text in story generation. Despite such observations, the effectiveness of decoding strategies is often assessed with respect to only a single task. This work -- in contrast -- provides a comprehensive analysis of the interaction between language generation tasks and decoding strategies. Specifically, we measure changes in attributes of generated text as a function of both decoding strategy and task using human and automatic evaluation. Our results reveal both previously-observed and surprising findings. For example, the nature of the diversity-quality trade-off in language generation is very task-specific; the length bias often attributed to beam search is not constant across tasks.
• Abstract（参考訳）: 確率モデルからテキストを生成する場合、選択された復号化戦略は結果のテキストに大きな影響を与える。 しかし、様々なデコーディング戦略によって引き起こされる特性は、必ずしも自然言語生成タスク間で転送されるわけではない。 例えば、ビームサーチのようなモード探索手法は機械翻訳において極めてよく機能するが、ストーリー生成において不整合かつ反復的なテキストにつながることが観察されている。 このような観察にもかかわらず、復号戦略の有効性は単一のタスクに対して評価されることが多い。 これとは対照的に,この作業は,言語生成タスクとデコード戦略間のインタラクションを包括的に分析するものだ。 具体的には,人間と自動評価を用いて,生成したテキストの属性の変化を復号化戦略とタスクの両方の機能として測定する。 以上の結果から,これまでの観察値と驚き値の両方が明らかとなった。 例えば、言語生成における多様性品質のトレードオフの性質は非常にタスク固有であり、ビーム探索に起因する長さバイアスはタスク全体にわたって一定ではない。

関連論文リスト

• DeTeCtive: Detecting AI-generated Text via Multi-Level Contrastive Learning [24.99797253885887]
  このタスクを達成するための鍵は、異なる著者のスタイルを区別することにある、と我々は主張する。 DeTeCtiveは,マルチタスクの補助的,マルチレベルのコントラスト学習フレームワークである。 我々の手法はテキストエンコーダと互換性がある。
  論文  参考訳（メタデータ） (2024-10-28T12:34:49Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
  コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
  論文  参考訳（メタデータ） (2024-07-26T12:23:54Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System [73.52878118434147]
  テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。 どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-09-09T18:19:47Z)
• A survey on text generation using generative adversarial networks [0.0]
  本研究は, ジェネレーティブ・アドバイサル・ネットワークを用いた最近の研究とテキスト生成の進展について, 徹底的なレビューを行う。 テキスト生成における敵対的学習の使用は、いわゆる「自然な」言語を生成する代替手段を提供するので、有望である。
  論文  参考訳（メタデータ） (2022-12-20T17:54:08Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)
• Which Discriminator for Cooperative Text Generation? [25.090455367573988]
  関心の高まりは、デコードプロセスにおける外部情報を活用して、生成されたテキストが望ましい特性を持つようにしようとする。 解決策は、各生成ステップで分類器を使用することであり、結果として協調環境となる。 本稿では,この特殊な復号化作業に対して,変換器を用いた識別器の3つのファミリーについて検討する。
  論文  参考訳（メタデータ） (2022-04-25T12:16:02Z)
• Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
  最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。 我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。 特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。 一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
  論文  参考訳（メタデータ） (2022-04-06T11:01:08Z)
• Compression, Transduction, and Creation: A Unified Framework for Evaluating Natural Language Generation [85.32991360774447]
  自然言語生成(NLG)は幅広いタスクにまたがっており、それぞれが特定の目的のために機能する。 NLGタスクにおける情報変化の性質に基づく統一的な視点を提案する。 我々は,異なるNLGタスクの重要な側面を評価するのに適した,解釈可能なメトリクスのファミリーを開発する。
  論文  参考訳（メタデータ） (2021-09-14T01:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。