論文の概要: GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation
- arxiv url: http://arxiv.org/abs/2508.20757v2
- Date: Wed, 03 Sep 2025 07:21:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 13:11:21.935053
- Title: GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation
- Title（参考訳）: GUARD: 効率的かつ効率的なオープンエンディングテキスト生成のためのローカル不確かさを意識したロバストデコーディング
- Authors: Yuanhao Ding, Esteban Garces Arias, Meimingwei Li, Julian Rodemann, Matthias Aßenmacher, Danlu Chen, Gaojuan Fan, Christian Heumann, Chongsheng Zhang,
- Abstract要約: GUARDは、オープンエンドテキスト生成におけるコヒーレンスと多様性のバランスをとる自己適応復号法である。
GUARDはテキストの多様性と一貫性のバランスを良好に保ちつつ、生成速度を大幅に改善したことを示す。
- 参考スコア（独自算出の注目度）: 7.799544459641742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-ended text generation faces a critical challenge: balancing coherence with diversity in LLM outputs. While contrastive search-based decoding strategies have emerged to address this trade-off, their practical utility is often limited by hyperparameter dependence and high computational costs. We introduce GUARD, a self-adaptive decoding method that effectively balances these competing objectives through a novel "Glocal" uncertainty-driven framework. GUARD combines global entropy estimates with local entropy deviations to integrate both long-term and short-term uncertainty signals. We demonstrate that our proposed global entropy formulation effectively mitigates abrupt variations in uncertainty, such as sudden overconfidence or high entropy spikes, and provides theoretical guarantees of unbiasedness and consistency. To reduce computational overhead, we incorporate a simple yet effective token-count-based penalty into GUARD. Experimental results demonstrate that GUARD achieves a good balance between text diversity and coherence, while exhibiting substantial improvements in generation speed. In a more nuanced comparison study across different dimensions of text quality, both human and LLM evaluators validated its remarkable performance. Our code is available at https://github.com/YecanLee/GUARD.
- Abstract（参考訳）: オープンエンドテキスト生成は、LCM出力のコヒーレンスと多様性のバランスをとるという、重要な課題に直面している。
対照的に、このトレードオフに対処するために検索ベースのデコード戦略が登場したが、その実用性はハイパーパラメータ依存と高い計算コストによって制限されることが多い。
我々は,これらの競合する目的を,新たな"ローカル"不確実性駆動フレームワークを通じて効果的にバランスさせる,自己適応型デコーディング手法であるGUARDを紹介する。
GUARDは、グローバルエントロピー推定と局所エントロピー偏差を組み合わせて、長期的および短期的な不確実性信号を統合する。
提案した大域的なエントロピーの定式化は,突然の過信や高エントロピースパイクといった不確実性の急激な変動を効果的に軽減し,不偏性や一貫性の理論的保証を提供することを示す。
計算オーバーヘッドを低減するため、GUARDにトークン数に基づく単純なペナルティを組み込む。
実験の結果,GUARDはテキストの多様性とコヒーレンスとのバランスが良好であり,生成速度は大幅に向上した。
テキスト品質の異なる次元にわたるより微妙な比較研究において、人間とLLMの評価者は、その顕著な性能を検証した。
私たちのコードはhttps://github.com/YecanLee/GUARD.comで公開されています。
関連論文リスト
- ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳（メタデータ） (2026-02-27T05:22:01Z) - Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency [78.91846841708586]
完全な自己整合性で答えられた事実でさえ、軽微な文脈干渉の下で急速に崩壊することを示します。
本研究では,概念的近傍における応答コヒーレンスを評価する信念の構造尺度であるNighbor-Consistency Belief(NCB)を提案する。
また、文脈不変の信念構造を最適化し、長い知識の脆さを約30%低減する構造意識訓練(SAT)を提案する。
論文 参考訳（メタデータ） (2026-01-09T16:23:21Z) - LLM-Centric RAG with Multi-Granular Indexing and Confidence Constraints [5.2604064919135896]
本稿では,複雑な知識環境下での検索強化生成において,不十分なカバレッジ,不安定な結果,信頼性の制限といった問題に対処する。
複数粒度メモリインデックスと不確実性推定を統合した信頼度制御法を提案する。
提案手法は,QA精度,検索リコール,ランキング品質,事実整合性において,既存モデルよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2025-10-30T23:48:37Z) - Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance [28.99265405319943]
我々はShannon Entropyを介して定量化されたトークンレベルの不確実性によって導かれる適応デコードフレームワークであるAdaDecを紹介する。
AdaDecは従来のビームサーチよりも15.5%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-06-10T16:49:46Z) - Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。
我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。
また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
論文 参考訳（メタデータ） (2025-05-03T05:28:11Z) - Uncertainty-Guided Chain-of-Thought for Code Generation with LLMs [45.33160999781074]
大規模言語モデル(LLM)の問題解決能力向上に有効な手法として,チェーン・オブ・ソート(CoT)推論が実証されている。
我々は、不確実性を認識したCoT推論機構を組み込むことで、コード生成を向上させるためのUnCert-CoTを導入する。
論文 参考訳（メタデータ） (2025-03-19T15:40:45Z) - Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
LLM生成符号の正確性のプロキシとして不確実性推定を検討する。
自然言語生成からコード生成領域への2つの最先端技術を適用する。
これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
論文 参考訳（メタデータ） (2025-02-17T10:03:01Z) - Auto-Prompt Generation is Not Robust: Prompt Optimization Driven by Pseudo Gradient [50.15090865963094]
PertBenchは、幅広い入力摂動を含む包括的なベンチマークデータセットである。
我々の分析は、既存の即時生成戦略における重大な脆弱性を明らかにしている。
PGOは、摂動型を擬似次数次信号として活用する、勾配のないプロンプト生成フレームワークである。
論文 参考訳（メタデータ） (2024-12-24T06:05:08Z) - Rethinking Uncertainty Estimation in Natural Language Generation [6.3398383724486544]
大規模言語モデル(LLM)は、現実のアプリケーションにますます採用されている。
不確実性推定法は複数の出力シーケンスを生成し解析し、LCMの不確実性を決定する。
単一出力シーケンスのみを用いて得られる利点を持つG-NLLを提案する。
論文 参考訳（メタデータ） (2024-12-19T18:51:06Z) - Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。
本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。
また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
論文 参考訳（メタデータ） (2024-06-19T16:42:57Z) - TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳（メタデータ） (2024-02-16T16:41:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。