論文の概要: EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling

• arxiv url: http://arxiv.org/abs/2403.14541v2
• Date: Wed, 3 Apr 2024 16:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 21:48:26.824985
• Title: EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling
• Title（参考訳）: EDT:エントロピーに基づく動的温度サンプリングによる大規模言語モデル生成の改善
• Authors: Shimao Zhang, Yu Bao, Shujian Huang,
• Abstract要約: 生成品質と多様性のバランスをとるために,効率的なエントロピーに基づく動的温度サンプリング法を提案する。 我々の実験によると、EDTは様々なタスクで既存の戦略を著しく上回ります。
• 参考スコア（独自算出の注目度）: 31.663507929452564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Large Language Models (LLMs) have demonstrated outstanding performance across a wide range of downstream language tasks. Temperature sampling is a commonly used decoding strategy for LLMs' generation process. However, a fixed temperature parameter is used in most cases, which may not always be an optimal choice for balancing generation quality and diversity. In this paper, we propose an effective Entropy-based Dynamic Temperature (EDT) Sampling method, to achieve a more balanced performance in terms of both generation quality and diversity by dynamically selecting the temperature parameter. Additionally, we also show model performance and comprehensive analyses for 4 different generation benchmarks. Our experiments show that EDT significantly outperforms the existing strategies across different tasks.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) は下流言語タスクにおいて,優れた性能を発揮している。 温度サンプリングは、LLMの生成プロセスにおいて一般的に用いられる復号法である。 しかし、ほとんどのケースでは温度パラメータが固定されているため、生成品質と多様性のバランスをとるのに最適ではないかもしれない。 本稿では,効率的なエントロピーに基づく動的温度サンプリング法を提案し,温度パラメータを動的に選択することで,生成品質と多様性の両面でよりバランスのとれた性能を実現する。 さらに,4つの世代ベンチマークのモデル性能と包括的解析について述べる。 我々の実験によると、EDTは様々なタスクで既存の戦略を著しく上回ります。

関連論文リスト

• Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
  モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。 我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
  論文  参考訳（メタデータ） (2024-11-14T18:31:39Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Temperature Balancing, Layer-wise Weight Analysis, and Neural Network Training [58.20089993899729]
  本稿では,直感的で効果的な階層学習手法であるTempBalanceを提案する。 我々は、TempBalanceが通常のSGDと注意深く調整されたスペクトルノルム正規化より著しく優れていることを示す。 また、TempBalanceは最先端のメトリクスやスケジューラよりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T05:38:17Z)
• Capturing Local Temperature Evolution during Additive Manufacturing through Fourier Neural Operators [0.0]
  本稿では, 加法製造過程における局所的な温度変化を捉えたデータ駆動モデルを提案する。 直接エネルギー沈着過程における不連続なガレルキン有限要素法に基づく数値シミュレーションで検証した。 その結果、このモデルはR2$で測定された高忠実度を実現し、トレーニングプロセスに含まれていない測地に対する一般化性を維持した。
  論文  参考訳（メタデータ） (2023-07-04T16:17:59Z)
• Not All Semantics are Created Equal: Contrastive Self-supervised Learning with Automatic Temperature Individualization [51.41175648612714]
  分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。 提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。 提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-19T19:25:56Z)
• Long Horizon Temperature Scaling [90.03310732189543]
  LHTS(Long Horizon Temperature Scaling)は、温度スケールの関節分布をサンプリングするための新しい手法である。 温度依存性のLHTS目標を導出し, 温度範囲のモデルを微調整することで, 制御可能な長地平線温度パラメータで生成可能な単一モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-07T18:59:32Z)
• Fine-tune your Classifier: Finding Correlations With Temperature [2.071516130824992]
  我々は、データセットを表現に計算された統計の集合として記述することで、分類タスクに対する温度の影響を分析する。 これらの抽出された統計値と観測された最適温度との相関について検討した。
  論文  参考訳（メタデータ） (2022-10-18T09:48:46Z)
• Generating Multivariate Load States Using a Conditional Variational Autoencoder [11.557259513691239]
  本稿では,条件付き可変オートエンコーダ(CVAE)ニューラルネットワークを提案する。 このモデルは与えられた潜在ベクトルの下での出力サンプルの潜時変化を含み、この出力変数のパラメータを共最適化する。 実験により、提案したジェネレータは、他のデータ生成メカニズムより優れていることが示された。
  論文  参考訳（メタデータ） (2021-10-21T19:07:04Z)
• UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
  本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。 注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
  論文  参考訳（メタデータ） (2021-10-14T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。