論文の概要: Improving Open-Ended Text Generation via Adaptive Decoding

• arxiv url: http://arxiv.org/abs/2402.18223v2
• Date: Mon, 3 Jun 2024 03:02:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 16:18:27.177611
• Title: Improving Open-Ended Text Generation via Adaptive Decoding
• Title（参考訳）: アダプティブデコードによるオープンエンディングテキスト生成の改善
• Authors: Wenhong Zhu, Hongkun Hao, Zhiwei He, Yiming Ai, Rui Wang,
• Abstract要約: 本研究では、動的に言語モデルに適応的復号化を導入し、生成時に意味のある候補集合を同定する機構を提案する。 実験結果から,本手法は多様性と一貫性のバランスが良好であることが明らかとなった。 我々の手法は言語モデルの推論能力を向上させる可能性がある。
• 参考スコア（独自算出の注目度）: 6.746656673563492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current language models decode text token by token according to probabilistic distribution, and determining the appropriate candidates for the next token is crucial to ensure generation quality. This study introduces adaptive decoding, a mechanism that dynamically empowers language models to ascertain a sensible candidate set during generation. Specifically, we introduce an entropy-based metric called confidence and conceptualize determining the optimal candidate set as a confidence-increasing process. The rationality of including a token in the candidate set is assessed by leveraging the increment of confidence. Experimental results reveal that our method balances diversity and coherence well. The human evaluation shows that our method can generate human-preferred text. Additionally, our method can potentially improve the reasoning ability of language models.
• Abstract（参考訳）: 現在の言語モデルは、確率分布に従ってトークンでテキストトークンをデコードし、次のトークンの適切な候補を決定することは、生成品質を保証するために不可欠である。 本研究では、動的に言語モデルに適応的復号化を導入し、生成時に意味のある候補集合を同定する機構を提案する。 具体的には、信頼度と呼ばれるエントロピーに基づく計量を導入し、最適候補集合を信頼増加過程として決定する。 信頼の増大を利用して、候補集合にトークンを含める合理性を評価する。 実験結果から,本手法は多様性と一貫性のバランスが良好であることが明らかとなった。 人間の評価は,本手法が人間の好むテキストを生成可能であることを示す。 さらに,本手法は言語モデルの推論能力を向上させる可能性がある。

関連論文リスト

• On Uncertainty In Natural Language Processing [2.5076643086429993]
  この論文は、自然言語処理における不確実性が言語的、統計的、神経的な観点からどのように特徴づけられるかを研究する。 本研究では,非交換不能な共形予測に基づく自然言語生成における校正サンプリング手法を提案する。 最後に,補助予測器を用いた大規模ブラックボックス言語モデルの信頼性の定量化手法を開発した。
  論文  参考訳（メタデータ） (2024-10-04T14:08:02Z)
• A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
  一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。 我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T17:38:21Z)
• Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
  サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。 そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。 SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
  論文  参考訳（メタデータ） (2024-03-26T09:25:57Z)
• Modeling Uncertainty in Personalized Emotion Prediction with Normalizing Flows [6.32047610997385]
  本研究では,条件付き正規化フローを用いて予測の不確かさを捉える新しい手法を提案する。 感情認識とヘイトスピーチを含む3つの主観的NLP課題に対して,本手法の有効性を検証した。 開発した手法によって得られた情報により,従来の手法を超越したハイブリッドモデルの構築が可能となった。
  論文  参考訳（メタデータ） (2023-12-10T23:21:41Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• On the Reliability and Explainability of Language Models for Program Generation [15.569926313298337]
  自動プログラム生成手法の能力と限界について検討する。 私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。 解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T14:59:52Z)
• Toward Trustworthy Neural Program Synthesis [6.3557174349423455]
  本研究では,大規模言語モデルからサンプルしたプログラムが正しい確率を推定する手法を開発する。 プログラミング問題の自然言語記述を前提として,本手法では,プログラムの振る舞いを規定する候補述語だけでなく,候補プログラムも抽出する。
  論文  参考訳（メタデータ） (2022-09-29T20:32:07Z)
• On the probability-quality paradox in language generation [76.69397802617064]
  我々は情報理論レンズを用いて言語生成を分析する。 人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
  論文  参考訳（メタデータ） (2022-03-31T17:43:53Z)
• Typical Decoding for Natural Language Generation [76.69397802617064]
  本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。 典型的なサンプリングでは,品質面での競争性能が期待できる。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。