論文の概要: Improving Open-Ended Text Generation via Adaptive Decoding
- arxiv url: http://arxiv.org/abs/2402.18223v1
- Date: Wed, 28 Feb 2024 10:38:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 15:25:01.600985
- Title: Improving Open-Ended Text Generation via Adaptive Decoding
- Title(参考訳): アダプティブデコードによるオープンエンドテキスト生成の改善
- Authors: Wenhong Zhu, Hongkun Hao, Zhiwei He, Yiming Ai and Rui Wang
- Abstract要約: 本研究では,適応的復号化(Adaptive Decoding)を導入する。
我々は,信頼度と呼ばれるエントロピーに基づく尺度を導入し,信頼度の増加過程として最適候補セットを決定する。
実験結果から,本手法はストーリー生成タスクにおいて高いMAUVEと多様性を概念化し,一貫性を維持していることが明らかとなった。
- 参考スコア(独自算出の注目度): 7.238123316025536
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current language models decode text token by token according to probabilistic
distribution, and determining the appropriate candidates for the next token is
crucial to ensure generation quality. This study introduces adaptive decoding,
a mechanism that empowers the language models to ascertain a sensible candidate
set during the generation process dynamically. Specifically, we introduce an
entropy-based metric called confidence and conceptualize determining the
optimal candidate set as a confidence-increasing process. The rationality of
including a token in the candidate set is assessed by leveraging the increment
of confidence, enabling the model to determine the most suitable candidate set
adaptively. The experimental results reveal that our method achieves higher
MAUVE and diversity in story generation tasks and maintains certain coherence,
underscoring its superiority over existing algorithms. The code is available at
https://github.com/zwhong714/adaptive_decoding.
- Abstract(参考訳): 現在の言語モデルは、確率分布に従ってテキストトークンをトークンでデコードし、次のトークンの適切な候補を決定することは、生成品質を確保するために不可欠である。
そこで本研究では,言語モデルに適応型デコードを導入することで,生成過程中に有意義な候補集合を動的に確認する機構を提案する。
具体的には、信頼度と呼ばれるエントロピーに基づく計量を導入し、最適候補集合を信頼増加過程として決定する。
信頼の増大を利用して、候補集合にトークンを含む合理性を評価し、モデルが最適な候補集合を適応的に決定できるようにする。
実験結果から,本手法はストーリー生成タスクにおいて高いMAUVEと多様性を達成し,一貫性を保ち,既存のアルゴリズムよりも優れていることを示す。
コードはhttps://github.com/zwhong714/adaptive_decodingで入手できる。
関連論文リスト
- On Uncertainty In Natural Language Processing [2.5076643086429993]
この論文は、自然言語処理における不確実性が言語的、統計的、神経的な観点からどのように特徴づけられるかを研究する。
本研究では,非交換不能な共形予測に基づく自然言語生成における校正サンプリング手法を提案する。
最後に,補助予測器を用いた大規模ブラックボックス言語モデルの信頼性の定量化手法を開発した。
論文 参考訳(メタデータ) (2024-10-04T14:08:02Z) - A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。
我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
論文 参考訳(メタデータ) (2024-06-14T17:38:21Z) - Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。
そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。
SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
論文 参考訳(メタデータ) (2024-03-26T09:25:57Z) - Modeling Uncertainty in Personalized Emotion Prediction with Normalizing
Flows [6.32047610997385]
本研究では,条件付き正規化フローを用いて予測の不確かさを捉える新しい手法を提案する。
感情認識とヘイトスピーチを含む3つの主観的NLP課題に対して,本手法の有効性を検証した。
開発した手法によって得られた情報により,従来の手法を超越したハイブリッドモデルの構築が可能となった。
論文 参考訳(メタデータ) (2023-12-10T23:21:41Z) - Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。
本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。
この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
論文 参考訳(メタデータ) (2023-10-02T09:35:27Z) - On the Reliability and Explainability of Language Models for Program
Generation [15.569926313298337]
自動プログラム生成手法の能力と限界について検討する。
私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。
解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
論文 参考訳(メタデータ) (2023-02-19T14:59:52Z) - Toward Trustworthy Neural Program Synthesis [6.3557174349423455]
本研究では,大規模言語モデルからサンプルしたプログラムが正しい確率を推定する手法を開発する。
プログラミング問題の自然言語記述を前提として,本手法では,プログラムの振る舞いを規定する候補述語だけでなく,候補プログラムも抽出する。
論文 参考訳(メタデータ) (2022-09-29T20:32:07Z) - On the probability-quality paradox in language generation [76.69397802617064]
我々は情報理論レンズを用いて言語生成を分析する。
人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
論文 参考訳(メタデータ) (2022-03-31T17:43:53Z) - Typical Decoding for Natural Language Generation [76.69397802617064]
本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。
典型的なサンプリングでは,品質面での競争性能が期待できる。
論文 参考訳(メタデータ) (2022-02-01T18:58:45Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳(メタデータ) (2021-03-21T17:20:38Z) - Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。
具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
論文 参考訳(メタデータ) (2020-04-29T17:43:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。