論文の概要: Improving Open-Ended Text Generation via Adaptive Decoding
- arxiv url: http://arxiv.org/abs/2402.18223v1
- Date: Wed, 28 Feb 2024 10:38:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 15:25:01.600985
- Title: Improving Open-Ended Text Generation via Adaptive Decoding
- Title(参考訳): アダプティブデコードによるオープンエンドテキスト生成の改善
- Authors: Wenhong Zhu, Hongkun Hao, Zhiwei He, Yiming Ai and Rui Wang
- Abstract要約: 本研究では,適応的復号化(Adaptive Decoding)を導入する。
我々は,信頼度と呼ばれるエントロピーに基づく尺度を導入し,信頼度の増加過程として最適候補セットを決定する。
実験結果から,本手法はストーリー生成タスクにおいて高いMAUVEと多様性を概念化し,一貫性を維持していることが明らかとなった。
- 参考スコア(独自算出の注目度): 7.238123316025536
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current language models decode text token by token according to probabilistic
distribution, and determining the appropriate candidates for the next token is
crucial to ensure generation quality. This study introduces adaptive decoding,
a mechanism that empowers the language models to ascertain a sensible candidate
set during the generation process dynamically. Specifically, we introduce an
entropy-based metric called confidence and conceptualize determining the
optimal candidate set as a confidence-increasing process. The rationality of
including a token in the candidate set is assessed by leveraging the increment
of confidence, enabling the model to determine the most suitable candidate set
adaptively. The experimental results reveal that our method achieves higher
MAUVE and diversity in story generation tasks and maintains certain coherence,
underscoring its superiority over existing algorithms. The code is available at
https://github.com/zwhong714/adaptive_decoding.
- Abstract(参考訳): 現在の言語モデルは、確率分布に従ってテキストトークンをトークンでデコードし、次のトークンの適切な候補を決定することは、生成品質を確保するために不可欠である。
そこで本研究では,言語モデルに適応型デコードを導入することで,生成過程中に有意義な候補集合を動的に確認する機構を提案する。
具体的には、信頼度と呼ばれるエントロピーに基づく計量を導入し、最適候補集合を信頼増加過程として決定する。
信頼の増大を利用して、候補集合にトークンを含む合理性を評価し、モデルが最適な候補集合を適応的に決定できるようにする。
実験結果から,本手法はストーリー生成タスクにおいて高いMAUVEと多様性を達成し,一貫性を保ち,既存のアルゴリズムよりも優れていることを示す。
コードはhttps://github.com/zwhong714/adaptive_decodingで入手できる。
関連論文リスト
- Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。
そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。
SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
論文 参考訳(メタデータ) (2024-03-26T09:25:57Z) - Multi-Candidate Speculative Decoding [82.05519287513444]
大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。
これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。
本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。
対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-01-12T17:15:23Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳(メタデータ) (2023-12-14T19:09:22Z) - Dual-Directed Algorithm Design for Efficient Pure Exploration [11.492736493413103]
有限の選択肢からなる逐次適応実験の文脈における純粋探索問題を考える。
サンプルの最適な割り当てに対する強い収束の概念の観点から、最適性の十分な条件を導出する。
我々のアルゴリズムは、$epsilon$-best-armの識別としきい値の帯域幅問題に最適である。
論文 参考訳(メタデータ) (2023-10-30T07:29:17Z) - Task-Adaptive Tokenization: Enhancing Long-Form Text Generation Efficacy
in Mental Health and Beyond [66.07002187192448]
本稿では,下流タスクの特定部分に生成パイプラインを適応させる手法として,タスク適応型トークン化を提案する。
専門用語を構築するための戦略を導入し、語彙統合プロトコルを導入する。
タスク適応型トークン化アプローチでは、最大60%のトークンを使用しながら、生成パフォーマンスが大幅に向上することが分かりました。
論文 参考訳(メタデータ) (2023-10-09T00:20:59Z) - On the Suitability of Representations for Quality Diversity Optimization
of Shapes [77.34726150561087]
進化的アルゴリズムで使用される表現、あるいは符号化は、その性能に大きな影響を及ぼす。
本研究では, 直接符号化, 辞書ベース表現, パラメトリック符号化, 合成パターン生成ネットワーク, セルオートマトンなどの表現が, 酸化メッシュの生成に与える影響について比較した。
論文 参考訳(メタデータ) (2023-04-07T07:34:23Z) - Joint Optimization of Tokenization and Downstream Model [22.336172850954938]
本稿では,トークン化器とモデルとの協調最適化により,与えられた下流モデルに適切なトークン化を求める手法を提案する。
提案手法は, 下流モデルで計算した損失値を用いてトークン化者を訓練する以外, 制限はない。
本手法が3言語におけるテキスト分類の性能向上に寄与するかどうかを8言語対の機械翻訳で評価する。
論文 参考訳(メタデータ) (2021-05-26T09:05:10Z) - Learning to Ask Medical Questions using Reinforcement Learning [9.376814468000955]
強化学習エージェントは、アンマストすべき特定の特徴を反復的に選択し、十分な自信のある結果を予測する。
提案手法の重要な構成要素は、選択した特徴から得られる結果を予測し、報酬関数をパラメータ化するように訓練された推測ネットワークである。
本手法を全国調査データセットに適用することにより,少数の入力特徴に基づいて予測を行う必要のある場合,高いベースラインを達成できるだけでなく,解釈性も高いことを示す。
論文 参考訳(メタデータ) (2020-03-31T18:21:46Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。