論文の概要: Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs

• arxiv url: http://arxiv.org/abs/2506.05387v2
• Date: Wed, 11 Jun 2025 16:08:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.711399
• Title: Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs
• Title（参考訳）: 復号化戦略の強化:LLMの局所サンプリングの強化
• Authors: Jaydip Sen, Saptarshi Sengupta, Subhasis Dasgupta,
• Abstract要約: Adaptive Semantic-Aware typicality Smpling (ASTS) は局所典型サンプリング (LTS) アルゴリズムの改良版として提案されている。 ASTSは、計算効率を維持しながら、文脈的に一貫性があり多様なテキスト生成を保証する。 実験の結果,ASTSは反復を減らし,セマンティックアライメントを強化し,流速を向上させることにより,既存のサンプリング技術よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 0.9217021281095907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This chapter explores advancements in decoding strategies for large language models (LLMs), focusing on enhancing the Locally Typical Sampling (LTS) algorithm. Traditional decoding methods, such as top-k and nucleus sampling, often struggle to balance fluency, diversity, and coherence in text generation. To address these challenges, Adaptive Semantic-Aware Typicality Sampling (ASTS) is proposed as an improved version of LTS, incorporating dynamic entropy thresholding, multi-objective scoring, and reward-penalty adjustments. ASTS ensures contextually coherent and diverse text generation while maintaining computational efficiency. Its performance is evaluated across multiple benchmarks, including story generation and abstractive summarization, using metrics such as perplexity, MAUVE, and diversity scores. Experimental results demonstrate that ASTS outperforms existing sampling techniques by reducing repetition, enhancing semantic alignment, and improving fluency.
• Abstract（参考訳）: 本章では,大規模言語モデル(LLM)の復号化戦略の進歩について,局所的典型サンプリング(LTS)アルゴリズムの強化に焦点をあてる。 トップkや核サンプリングのような伝統的な復号法は、しばしばテキスト生成において流布率、多様性、一貫性のバランスをとるのに苦労する。 これらの課題に対処するために、動的エントロピーしきい値付け、多目的スコアリング、報酬金の調整を取り入れた、適応セマンティック・アウェア典型サンプリング(ASTS)がLTSの改良版として提案されている。 ASTSは、計算効率を維持しながら、文脈的に一貫性があり多様なテキスト生成を保証する。 その性能は、ストーリー生成や抽象的な要約を含む複数のベンチマークで評価され、パープレキシティ、MAUVE、多様性スコアなどの指標を用いて評価される。 実験の結果,ASTSは反復を減らし,セマンティックアライメントを強化し,流速を向上させることにより,既存のサンプリング技術よりも優れた性能を示した。

関連論文リスト

• Semantic uncertainty in advanced decoding methods for LLM generation [35.31962554915952]
  本研究では,大規模言語モデル(LLM)における意味的不確実性について検討した。 モデル出力の多様性と信頼性の両方に異なる復号戦略がどう影響するかを分析する。
  論文  参考訳（メタデータ） (2025-06-17T10:09:29Z)
• Scaling Textual Gradients via Sampling-Based Momentum [59.94928977345951]
  Textual Gradient Descent (TGD)フレームワークは、有望なデータ駆動アプローチとして登場した。 トレーニングサンプルの数をスケールすることで結果が改善されるが、後にTGDのパフォーマンスが低下する。 本稿では,テキスト・グラディエント・ Descent with Momentum (TSGD-M) を提案する。
  論文  参考訳（メタデータ） (2025-05-31T05:35:45Z)
• Context-Enhanced Contrastive Search for Improved LLM Text Generation [1.7720658326850143]
  本稿では,コントラスト探索アルゴリズムであるCECS(Context-Enhanced Contrastive Search)のコンテキストキャリブレーションによる改良を提案する。 提案手法は, 動的文脈重み付け, 多レベルコントラスト探索, 適応温度制御などの新しい手法を導入し, 流速, 創造性, 精度のバランスを最適化する。 実験の結果,CECSによるテキストの一貫性と関連性は,既存のContrastive Search技術よりも優れていた。
  論文  参考訳（メタデータ） (2025-04-22T13:00:14Z)
• Diversified Sampling Improves Scaling LLM inference [31.18762591875725]
  DivSamplingは、候補解の多様性を高めるために設計された、斬新で多用途なサンプリング技術である。 理論解析により, 微妙な仮定の下では, 種々のプロンプトから発生する応答の誤り率は, 定常プロンプトによる応答よりも有意に低いことが示された。
  論文  参考訳（メタデータ） (2025-02-16T07:37:58Z)
• Transformer-Driven Active Transfer Learning for Cross-Hyperspectral Image Classification [3.087068801861429]
  ハイパースペクトル画像(HSI)分類は、高スペクトル次元、重要な領域シフト、ラベル付きデータの可用性の制限による固有の課題を示す。 本稿では,空間スペクトル変換器(SST)のバックボーン上に構築された,新しいアクティブトランスファー学習(ATL)フレームワークを提案する。 このフレームワークは多段階移動学習と不確実性多様性駆動型能動学習機構を統合する。
  論文  参考訳（メタデータ） (2024-11-27T07:53:39Z)
• Words Matter: Leveraging Individual Text Embeddings for Code Generation in CLIP Test-Time Adaptation [21.20806568508201]
  テスト時推論において視覚言語モデル(VLM)が遭遇する分布ドリフトを軽減するために,クラステキスト情報を活用する方法を示す。 本稿では,ラベル割り当て問題の固定セントロイドとしてジェネリッククラステキスト埋め込みを利用して,テスト時間サンプルの擬似ラベルを生成することを提案する。 多様な複雑性を示す複数の人気のあるテスト時間適応ベンチマークの実験は、CLIP-OTの優位性を実証的に示している。
  論文  参考訳（メタデータ） (2024-11-26T00:15:37Z)
• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号ステップにおける多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法のキャパシティを推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法を総合的に比較し,パラメータ選択のための実用的なユーザガイドとして機能する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space [110.85888003111653]
  マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。 マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。 また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:30:35Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Self-Adversarial Learning with Comparative Discrimination for Text Generation [111.18614166615968]
  本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-01-31T07:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。