論文の概要: Auxiliary-Hyperparameter-Free Sampling: Entropy Equilibrium for Text Generation

• arxiv url: http://arxiv.org/abs/2512.00789v1
• Date: Sun, 30 Nov 2025 08:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.419757
• Title: Auxiliary-Hyperparameter-Free Sampling: Entropy Equilibrium for Text Generation
• Title（参考訳）: 補助パラメータフリーサンプリング:テキスト生成のためのエントロピー平衡
• Authors: Xiaodong Cai, Hai Lin, Shaoxiong Zhan, Weiqi Luo, Hong-Gee Kim, Hongyan Hao, Yu Yang, Hai-Tao Zheng,
• Abstract要約: 大規模言語モデル(LLM)のテキスト生成品質に影響を与えるトークンサンプリング戦略 本稿では,情報理論にインスパイアされた補助的パラメータフリーアプローチであるEntropy Equilibrium Sampling (EES)を提案する。 EESは、温度設定を越えて一貫してよく機能し、多様性を維持しながら、競争の正確さと一貫性を提供します。
• 参考スコア（独自算出の注目度）: 20.748382951054563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Token sampling strategies critically influence text generation quality in large language models (LLMs). However, existing methods introduce additional hyperparameters, requiring extensive tuning and complicating deployment. We present Entropy Equilibrium Sampling (EES), an auxiliary hyperparameter-free approach inspired by information theory that can dynamically adjust candidate sets by balancing normalized entropy with probability mass. We evaluate EES on both reasoning and generation tasks across a range of model architectures. Our results show that EES consistently performs well across temperature settings, delivering competitive accuracy and coherence while maintaining diversity. By eliminating the need for hyperparameter tuning, EES greatly simplifies deployment while improving performance. Code is available at https://github.com/shuanncai/EES
• Abstract（参考訳）: 大規模言語モデル(LLMs)のテキスト生成品質に重要な影響を与える。 しかし、既存のメソッドは追加のハイパーパラメータを導入し、広範囲のチューニングとデプロイメントの複雑化を必要としている。 本稿では、正規化エントロピーと確率質量のバランスをとることで、候補集合を動的に調整できる情報理論にインスパイアされた補助的ハイパーパラメータフリーアプローチであるエントロピー平衡サンプリング(EES)を提案する。 我々は、様々なモデルアーキテクチャにおいて、推論タスクと生成タスクの両方でEESを評価する。 以上の結果から,EESは温度設定において常に良好に機能し,多様性を維持しつつ,競争精度とコヒーレンスを実現していることがわかった。 ハイパーパラメータチューニングを不要にすることで、EESは、パフォーマンスを改善しながら、デプロイを大幅に単純化する。 コードはhttps://github.com/shuanncai/EESで入手できる。

関連論文リスト

• Interim Report on Human-Guided Adaptive Hyperparameter Optimization with Multi-Fidelity Sprints [0.0]
  このケーススタディでは、マルチタスク自然言語モデルの変種を比較するために、フェーズドハイパーパラメータ最適化プロセスを適用する。 我々は,多相性,ハイパーパラメータ空間プルーニング,プログレッシブ・ハーヴィング,そして人間の指導の度合いを生かした,短いベイズ最適化セッションを採用している。 本稿では,Eberts と Ulges が提案した 2021 Joint Entity and Relation extract model の変種集合について実演する。
  論文  参考訳（メタデータ） (2025-05-14T20:38:44Z)
• GEPS: Boosting Generalization in Parametric PDE Neural Solvers through Adaptive Conditioning [14.939978372699084]
  データ駆動型アプローチは、異なるPDEパラメータを持つ非常に多種多様な軌跡を組み込むことでパラメトリックPDEを学ぶ。 GEPSはPdeソルバのGEneralizationを促進するための単純な適応機構である。 完全データ駆動型と物理対応型ニューラルソルバの両方に対するアプローチの汎用性を実証する。
  論文  参考訳（メタデータ） (2024-10-31T12:51:40Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。