論文の概要: Reflection-Window Decoding: Text Generation with Selective Refinement

• arxiv url: http://arxiv.org/abs/2502.03678v1
• Date: Wed, 05 Feb 2025 23:53:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:34:35.699515
• Title: Reflection-Window Decoding: Text Generation with Selective Refinement
• Title（参考訳）: リフレクション・ウィンドウ・デコーディング:選択的リファインメントによるテキスト生成
• Authors: Zeyu Tang, Zhenhao Chen, Loka Li, Xiangchen Song, Yunlong Deng, Yifan Shen, Guangyi Chen, Peter Spirtes, Kun Zhang,
• Abstract要約: 大規模言語モデル(LLM)におけるテキスト生成の自己回帰復号化は、生成されたコンテンツの洗練や修正を行うための内蔵機構が欠如しているため、本質的には準最適である。 本稿では, すべり反射窓と舗装基準を組み込んだ手法を提案し, 復号化が進むにつれて, 改良と生成を相互に行なえるようにした。
• 参考スコア（独自算出の注目度）: 14.943512664474143
• License:
• Abstract: The autoregressive decoding for text generation in large language models (LLMs), while widely used, is inherently suboptimal due to the lack of a built-in mechanism to perform refinement and/or correction of the generated content. In this paper, we consider optimality in terms of the joint probability over the generated response, when jointly considering all tokens at the same time. We theoretically characterize the potential deviation of the autoregressively generated response from its globally optimal counterpart that is of the same length. Our analysis suggests that we need to be cautious when noticeable uncertainty arises during text generation, which may signal the sub-optimality of the generation history. To address the pitfall of autoregressive decoding for text generation, we propose an approach that incorporates a sliding reflection window and a pausing criterion, such that refinement and generation can be carried out interchangeably as the decoding proceeds. Our selective refinement framework strikes a balance between efficiency and optimality, and our extensive experimental results demonstrate the effectiveness of our approach.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるテキスト生成のための自動回帰復号法は、広く使われているが、生成されたコンテンツの洗練や修正を行うための内蔵機構が欠如しているため、本質的には最適ではない。 本稿では,全てのトークンを同時に検討する場合に,生成した応答に対する結合確率の観点から最適性を考察する。 理論的には、同じ長さのグローバル最適応答から自己回帰生成応答の潜在的な偏差を特徴づける。 本分析は,テキスト生成中に顕著な不確実性が発生した場合に注意が必要であることを示唆する。 テキスト生成における自己回帰復号化の落とし穴に対処するため, スライド反射窓と舗装基準を組み込んだ手法を提案する。 我々の選択的な改善フレームワークは効率と最適性のバランスをとっており、我々の広範な実験結果は我々のアプローチの有効性を実証している。

関連論文リスト

• Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
  コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
  論文  参考訳（メタデータ） (2024-07-26T12:23:54Z)
• Positive Text Reframing under Multi-strategy Optimization [2.6345343328000856]
  本稿では,流動的で多様なタスク制約のあるリフレーミングテキストを生成するフレームワークを提案する。 我々のフレームワークは、制約なしおよび制御なしのポジティブリフレーミングタスクにおいて、大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-07-25T10:58:42Z)
• Cascade Reward Sampling for Efficient Decoding-Time Alignment [18.537156067913283]
  我々は,高逆・高次テキストを生成するためのCARDSを提案する。 CARDSは、非常に低コストで高解像度かつ高解像度のテキストを生成することを保証している。 実験は、生成効率とアライメントレーティングの両方において、かなりの上昇を示します。
  論文  参考訳（メタデータ） (2024-06-24T04:08:35Z)
• EEL: Efficiently Encoding Lattices for Reranking [44.77383151122229]
  生成した出力の格子を効率的にエンコードするためにTransformerを使用します。 このアプローチをトークン駆動リランカ(TFR)の新しいクラスと組み合わせる。 以上の結果から,ダウンストリームメトリクスの性能は,従来の手法に比べて大幅に向上した。
  論文  参考訳（メタデータ） (2023-06-01T17:45:32Z)
• Look-back Decoding for Open-Ended Text Generation [62.53302138266465]
  本研究では,現在の復号化過程と過去の復号化過程の分布距離を追跡する改良された復号化アルゴリズムであるLook-backを提案する。 ルックバックは、潜在的反復句とトピックドリフトを自動的に予測し、障害モードを引き起こす可能性のあるトークンを削除することができる。 文書の継続とストーリー生成に関する復号実験を行い、Look-backがより流動的で一貫性のあるテキストを生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-22T20:42:37Z)
• Revisiting GANs by Best-Response Constraint: Perspective, Methodology, and Application [49.66088514485446]
  ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。 モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
  論文  参考訳（メタデータ） (2022-05-20T12:42:41Z)
• Towards Robust Speech-to-Text Adversarial Attack [78.5097679815944]
  本稿では,DeepSpeech,Kaldi,Lingvoなど,最先端の音声テキストシステムに対する新たな逆アルゴリズムを提案する。 本手法は, 逆最適化定式化の従来の歪み条件の拡張を開発することに基づいている。 元のサンプルと反対のサンプルの分布の差を測定するこの測定値の最小化は、正統な音声記録のサブスペースに非常に近い作成信号に寄与する。
  論文  参考訳（メタデータ） (2021-03-15T01:51:41Z)
• Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
  テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。 本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-04T05:45:13Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Heavy-tailed Representations, Text Polarity Classification & Data Augmentation [11.624944730002298]
  所望の正則性を持つ重み付き埋め込みを学習するための新しい手法を開発した。 提案した埋め込みの尾部専用の分類器が得られ、性能がベースラインを上回っている。 合成および実テキストデータに関する数値実験により,提案手法の妥当性が示された。
  論文  参考訳（メタデータ） (2020-03-25T19:24:05Z)
• Self-Adversarial Learning with Comparative Discrimination for Text Generation [111.18614166615968]
  本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-01-31T07:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。