論文の概要: GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation

• arxiv url: http://arxiv.org/abs/2508.20757v1
• Date: Thu, 28 Aug 2025 13:14:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.41017
• Title: GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation
• Title（参考訳）: GUARD: 効率的かつ効率的なオープンエンディングテキスト生成のためのローカル不確かさを意識したロバストデコーディング
• Authors: Yuanhao Ding, Esteban Garces Arias, Meimingwei Li, Julian Rodemann, Matthias Aßenmacher, Danlu Chen, Gaojuan Fan, Christian Heumann, Chongsheng Zhang,
• Abstract要約: GUARDは、オープンエンドテキスト生成におけるコヒーレンスと多様性のバランスをとる自己適応復号法である。 GUARDはテキストの多様性と一貫性のバランスを良好に保ちつつ、生成速度を大幅に改善したことを示す。
• 参考スコア（独自算出の注目度）: 7.799544459641742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-ended text generation faces a critical challenge: balancing coherence with diversity in LLM outputs. While contrastive search-based decoding strategies have emerged to address this trade-off, their practical utility is often limited by hyperparameter dependence and high computational costs. We introduce GUARD, a self-adaptive decoding method that effectively balances these competing objectives through a novel "Glocal" uncertainty-driven framework. GUARD combines global entropy estimates with local entropy deviations to integrate both long-term and short-term uncertainty signals. We demonstrate that our proposed global entropy formulation effectively mitigates abrupt variations in uncertainty, such as sudden overconfidence or high entropy spikes, and provides theoretical guarantees of unbiasedness and consistency. To reduce computational overhead, we incorporate a simple yet effective token-count-based penalty into GUARD. Experimental results demonstrate that GUARD achieves a good balance between text diversity and coherence, while exhibiting substantial improvements in generation speed. In a more nuanced comparison study across different dimensions of text quality, both human and LLM evaluators validated its remarkable performance. Our code is available at https://github.com/YecanLee/GUARD.
• Abstract（参考訳）: オープンエンドテキスト生成は、LCM出力のコヒーレンスと多様性のバランスをとるという、重要な課題に直面している。 対照的に、このトレードオフに対処するために検索ベースのデコード戦略が登場したが、その実用性はハイパーパラメータ依存と高い計算コストによって制限されることが多い。 我々は,これらの競合する目的を,新たな"ローカル"不確実性駆動フレームワークを通じて効果的にバランスさせる,自己適応型デコーディング手法であるGUARDを紹介する。 GUARDは、グローバルエントロピー推定と局所エントロピー偏差を組み合わせて、長期的および短期的な不確実性信号を統合する。 提案した大域的なエントロピーの定式化は,突然の過信や高エントロピースパイクといった不確実性の急激な変動を効果的に軽減し,不偏性や一貫性の理論的保証を提供することを示す。 計算オーバーヘッドを低減するため、GUARDにトークン数に基づく単純なペナルティを組み込む。 実験の結果,GUARDはテキストの多様性とコヒーレンスとのバランスが良好であり,生成速度は大幅に向上した。 テキスト品質の異なる次元にわたるより微妙な比較研究において、人間とLLMの評価者は、その顕著な性能を検証した。 私たちのコードはhttps://github.com/YecanLee/GUARD.comで公開されています。

関連論文リスト

• Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance [28.99265405319943]
  我々はShannon Entropyを介して定量化されたトークンレベルの不確実性によって導かれる適応デコードフレームワークであるAdaDecを紹介する。 AdaDecは従来のビームサーチよりも15.5%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-06-10T16:49:46Z)
• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)
• Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
  LLM生成符号の正確性のプロキシとして不確実性推定を検討する。 自然言語生成からコード生成領域への2つの最先端技術を適用する。 これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2025-02-17T10:03:01Z)
• Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
  Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。 本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。 また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
  論文  参考訳（メタデータ） (2024-06-19T16:42:57Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。