論文の概要: Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation

• arxiv url: http://arxiv.org/abs/2410.06097v2
• Date: Sat, 14 Dec 2024 19:02:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:28.375828
• Title: Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation
• Title（参考訳）: 復号化デコード:オープンエンディングテキスト生成におけるハイパーパラメータ効果の理解
• Authors: Esteban Garces Arias, Meimingwei Li, Christian Heumann, Matthias Aßenmacher,
• Abstract要約: 生成型大規模言語モデル(LLM)の復号戦略は、テキスト生成タスクにおいて、重要ではあるがしばしば未発見の側面である。 本研究では,復号化手法,オープンソースLCM,テキストドメイン,評価プロトコルの大規模評価を行う。 我々の実験には、事実的(ニュースなど)と創造的(フィクションなど)の両方が含まれており、人間の判断とともに、幅広い自動評価指標が組み込まれている。
• 参考スコア（独自算出の注目度）: 0.22499166814992438
• License:
• Abstract: Decoding strategies for generative large language models (LLMs) are a critical but often underexplored aspect of text generation tasks. Guided by specific hyperparameters, these strategies aim to transform the raw probability distributions produced by language models into coherent, fluent text. In this study, we undertake a large-scale empirical assessment of a range of decoding methods, open-source LLMs, textual domains, and evaluation protocols to determine how hyperparameter choices shape the outputs. Our experiments include both factual (e.g., news) and creative (e.g., fiction) domains, and incorporate a broad suite of automatic evaluation metrics alongside human judgments. Through extensive sensitivity analyses, we distill practical recommendations for selecting and tuning hyperparameters, noting that optimal configurations vary across models and tasks. By synthesizing these insights, this study provides actionable guidance for refining decoding strategies, enabling researchers and practitioners to achieve higher-quality, more reliable, and context-appropriate text generation outcomes.
• Abstract（参考訳）: 生成的大言語モデル(LLM)の復号戦略は、テキスト生成タスクにおいて、重要ではあるがしばしば未発見の側面である。 これらの戦略は,言語モデルが生み出す生の確率分布をコヒーレントで流動的なテキストに変換することを目的としている。 本研究では,超パラメータ選択が出力をどう形作るかを決定するために,オープンソースLCM,テキストドメイン,評価プロトコルなど,さまざまなデコード手法の大規模評価を行う。 我々の実験には、事実(例:ニュース)と創造的(例:フィクション)の両方の領域が含まれており、人間の判断とともに、幅広い自動評価指標が組み込まれています。 広範な感度分析を通じて、最適構成がモデルやタスクによって異なることを指摘し、ハイパーパラメータの選択とチューニングのための実用的な勧告を精査する。 これらの知見を合成することにより、研究者や実践者が高品質で信頼性が高く、文脈に適合したテキスト生成結果が得られるように、デコード戦略を洗練するための実用的なガイダンスを提供する。

関連論文リスト

• Towards Better Open-Ended Text Generation: A Multicriteria Evaluation Framework [0.1979158763744267]
  オープンエンドテキスト生成は自然言語処理において顕著な課題となっている。 復号法は、いくつかの指標で優れ、他の指標では性能が劣ることが多い。 本稿では,この多基準フレームワークにおける新たなランキング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-24T11:32:01Z)
• Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
  コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
  論文  参考訳（メタデータ） (2024-07-26T12:23:54Z)
• LLM can Achieve Self-Regulation via Hyperparameter Aware Generation [88.69052513433603]
  大規模言語モデル (LLM) は、生成されたテキストを制御するために様々な復号法を用いる。 LLMはこれらのデコード戦略の存在を意識し、自己統制できるのか? ハイパーパラメータ・アウェア・ジェネレーション(HAG)と呼ばれる新しいテキスト生成パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T11:18:22Z)
• ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
  ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
  論文  参考訳（メタデータ） (2024-02-17T02:25:57Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System [73.52878118434147]
  テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。 どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-09-09T18:19:47Z)
• On Decoding Strategies for Neural Text Generators [73.48162198041884]
  言語生成タスクと復号化戦略の相互作用について検討する。 生成したテキストの属性の変化をデコード戦略とタスクの両方の関数として測定する。 以上の結果から,これまで観察された結果と意外な結果の両方が明らかとなった。
  論文  参考訳（メタデータ） (2022-03-29T16:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。