論文の概要: Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation

• arxiv url: http://arxiv.org/abs/2407.18698v1
• Date: Fri, 26 Jul 2024 12:23:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 13:30:50.927133
• Title: Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
• Title（参考訳）: Adaptive Contrastive Search: オープンエンディングテキスト生成のための不確実なガイド付きデコード
• Authors: Esteban Garces Arias, Julian Rodemann, Meimingwei Li, Christian Heumann, Matthias Aßenmacher,
• Abstract要約: コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
• 参考スコア（独自算出の注目度）: 0.20971479389679337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoding from the output distributions of large language models to produce high-quality text is a complex challenge in language modeling. Various approaches, such as beam search, sampling with temperature, $k-$sampling, nucleus $p-$sampling, typical decoding, contrastive decoding, and contrastive search, have been proposed to address this problem, aiming to improve coherence, diversity, as well as resemblance to human-generated text. In this study, we introduce adaptive contrastive search, a novel decoding strategy extending contrastive search by incorporating an adaptive degeneration penalty, guided by the estimated uncertainty of the model at each generation step. This strategy is designed to enhance both the creativity and diversity of the language modeling process while at the same time producing coherent and high-quality generated text output. Our findings indicate performance enhancement in both aspects, across different model architectures and datasets, underscoring the effectiveness of our method in text generation tasks. Our code base, datasets, and models are publicly available.
• Abstract（参考訳）: 大規模言語モデルの出力分布から高品質なテキストを生成するための復号化は、言語モデリングにおける複雑な課題である。 ビームサーチ、温度によるサンプリング、$k-$sampling、core $p-$sampling、典型的復号化、コントラスト的復号化、コントラスト的探索といった様々な手法が提案されている。 本研究では,適応的退化ペナルティを取り入れた新しい復号法であるアダプティブ・コントラッシブ・サーチを導入する。 この戦略は、言語モデリングプロセスの創造性と多様性を両立させると同時に、一貫性と高品質なテキスト出力を生成するように設計されている。 本研究は,異なるモデルアーキテクチャとデータセットの両面での性能向上を示し,テキスト生成タスクにおける本手法の有効性を裏付けるものである。 コードベース、データセット、モデルが公開されています。

関連論文リスト

• ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
  ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
  論文  参考訳（メタデータ） (2024-02-17T02:25:57Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation [77.44921096644698]
  本稿では,復号化アルゴリズムがLMフェアネスに与える影響を体系的に分析する。 公平さ、多様性、品質のトレードオフを分析します。
  論文  参考訳（メタデータ） (2022-10-07T21:33:34Z)
• Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors [21.71928935339393]
  高品質なテキストを生成するための新しい潜在構造変数モデルを提案する。 具体的には、決定論的エンコーダの隠蔽状態をランダムな文脈変数にマッピングする関数を導入する。 ガウス過程の学習課題に対処するために,効率的な変分推論手法を提案する。
  論文  参考訳（メタデータ） (2022-04-04T04:09:15Z)
• On Decoding Strategies for Neural Text Generators [73.48162198041884]
  言語生成タスクと復号化戦略の相互作用について検討する。 生成したテキストの属性の変化をデコード戦略とタスクの両方の関数として測定する。 以上の結果から,これまで観察された結果と意外な結果の両方が明らかとなった。
  論文  参考訳（メタデータ） (2022-03-29T16:25:30Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。