論文の概要: Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation

• arxiv url: http://arxiv.org/abs/2410.06097v1
• Date: Tue, 8 Oct 2024 14:51:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:10:50.656221
• Title: Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation
• Title（参考訳）: 復号化デコード:オープンエンディングテキスト生成におけるハイパーパラメータ効果の理解
• Authors: Esteban Garces Arias, Meimingwei Li, Christian Heumann, Matthias Aßenmacher,
• Abstract要約: 大規模言語モデル(LLM)の復号戦略は、テキスト生成タスクの重要な側面であるが、しばしば未探索の側面である。 オープンエンドテキスト生成において,ハイパーパラメータ選択がテキスト品質に与える影響を,大規模かつ包括的に分析する。
• 参考スコア（独自算出の注目度）: 0.22499166814992438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoding strategies for large language models (LLMs) are a critical but often underexplored aspect of text generation tasks. Since LLMs produce probability distributions over the entire vocabulary, various decoding methods have been developed to transform these probabilities into coherent and fluent text, each with its own set of hyperparameters. In this study, we present a large-scale, comprehensive analysis of how hyperparameter selection affects text quality in open-ended text generation across multiple LLMs, datasets, and evaluation metrics. Through an extensive sensitivity analysis, we provide practical guidelines for hyperparameter tuning and demonstrate the substantial influence of these choices on text quality. Using three established datasets, spanning factual domains (e.g., news) and creative domains (e.g., fiction), we show that hyperparameter tuning significantly impacts generation quality, though its effects vary across models and tasks. We offer in-depth insights into these effects, supported by both human evaluations and a synthesis of widely-used automatic evaluation metrics.
• Abstract（参考訳）: 大規模言語モデル(LLM)の復号戦略は、テキスト生成タスクの重要な側面であるが、しばしば未探索の側面である。 LLMは語彙全体の確率分布を生成するため、これらの確率をコヒーレントで流動的なテキストに変換するための様々な復号法が開発されている。 本研究では,複数のLCM,データセット,評価指標を用いたオープンエンドテキスト生成において,ハイパーパラメータ選択がテキスト品質に与える影響を大規模かつ包括的に分析する。 広義の感度解析を通じて、ハイパーパラメータチューニングの実践的ガイドラインを提供し、これらの選択がテキスト品質に与える影響を実証する。 現実の領域(ニュースなど)と創造的な領域(フィクションなど)にまたがる3つの確立されたデータセットを用いて、ハイパーパラメータチューニングが生成品質に大きな影響を及ぼすが、その効果はモデルやタスクによって異なる。 人的評価と広く使用されている自動評価指標の合成の両方によって支援された、これらの効果に関する詳細な知見を提供する。

関連論文リスト

• Towards Better Open-Ended Text Generation: A Multicriteria Evaluation Framework [0.1979158763744267]
  オープンエンドテキスト生成は自然言語処理において顕著な課題となっている。 復号法は、いくつかの指標で優れ、他の指標では性能が劣ることが多い。 本稿では,この多基準フレームワークにおける新たなランキング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-24T11:32:01Z)
• Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
  コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
  論文  参考訳（メタデータ） (2024-07-26T12:23:54Z)
• LLM can Achieve Self-Regulation via Hyperparameter Aware Generation [88.69052513433603]
  大規模言語モデル (LLM) は、生成されたテキストを制御するために様々な復号法を用いる。 LLMはこれらのデコード戦略の存在を意識し、自己統制できるのか? ハイパーパラメータ・アウェア・ジェネレーション(HAG)と呼ばれる新しいテキスト生成パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T11:18:22Z)
• ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
  ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
  論文  参考訳（メタデータ） (2024-02-17T02:25:57Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System [73.52878118434147]
  テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。 どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-09-09T18:19:47Z)
• On Decoding Strategies for Neural Text Generators [73.48162198041884]
  言語生成タスクと復号化戦略の相互作用について検討する。 生成したテキストの属性の変化をデコード戦略とタスクの両方の関数として測定する。 以上の結果から,これまで観察された結果と意外な結果の両方が明らかとなった。
  論文  参考訳（メタデータ） (2022-03-29T16:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。