論文の概要: Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation

• arxiv url: http://arxiv.org/abs/2410.06097v2
• Date: Sat, 14 Dec 2024 19:02:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 15:49:58.944103
• Title: Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation
• Title（参考訳）: 復号化デコード:オープンエンディングテキスト生成におけるハイパーパラメータ効果の理解
• Authors: Esteban Garces Arias, Meimingwei Li, Christian Heumann, Matthias Aßenmacher,
• Abstract要約: 生成型大規模言語モデル(LLM)の復号戦略は、テキスト生成タスクにおいて、重要ではあるがしばしば未発見の側面である。 本研究では,復号化手法,オープンソースLCM,テキストドメイン,評価プロトコルの大規模評価を行う。 我々の実験には、事実的(ニュースなど)と創造的(フィクションなど)の両方が含まれており、人間の判断とともに、幅広い自動評価指標が組み込まれている。
• 参考スコア（独自算出の注目度）: 0.22499166814992438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoding strategies for generative large language models (LLMs) are a critical but often underexplored aspect of text generation tasks. Guided by specific hyperparameters, these strategies aim to transform the raw probability distributions produced by language models into coherent, fluent text. In this study, we undertake a large-scale empirical assessment of a range of decoding methods, open-source LLMs, textual domains, and evaluation protocols to determine how hyperparameter choices shape the outputs. Our experiments include both factual (e.g., news) and creative (e.g., fiction) domains, and incorporate a broad suite of automatic evaluation metrics alongside human judgments. Through extensive sensitivity analyses, we distill practical recommendations for selecting and tuning hyperparameters, noting that optimal configurations vary across models and tasks. By synthesizing these insights, this study provides actionable guidance for refining decoding strategies, enabling researchers and practitioners to achieve higher-quality, more reliable, and context-appropriate text generation outcomes.
• Abstract（参考訳）: 生成的大言語モデル(LLM)の復号戦略は、テキスト生成タスクにおいて、重要ではあるがしばしば未発見の側面である。 これらの戦略は,言語モデルが生み出す生の確率分布をコヒーレントで流動的なテキストに変換することを目的としている。 本研究では,超パラメータ選択が出力をどう形作るかを決定するために,オープンソースLCM,テキストドメイン,評価プロトコルなど,さまざまなデコード手法の大規模評価を行う。 我々の実験には、事実(例:ニュース)と創造的(例:フィクション)の両方の領域が含まれており、人間の判断とともに、幅広い自動評価指標が組み込まれています。 広範な感度分析を通じて、最適構成がモデルやタスクによって異なることを指摘し、ハイパーパラメータの選択とチューニングのための実用的な勧告を精査する。 これらの知見を合成することにより、研究者や実践者が高品質で信頼性が高く、文脈に適合したテキスト生成結果が得られるように、デコード戦略を洗練するための実用的なガイダンスを提供する。

関連論文リスト

• Towards Better Open-Ended Text Generation: A Multicriteria Evaluation Framework [0.1979158763744267]
  オープンエンドテキスト生成は自然言語処理において顕著な課題となっている。 復号法は、いくつかの指標で優れ、他の指標では性能が劣ることが多い。 本稿では,この多基準フレームワークにおける新たなランキング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-24T11:32:01Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
  コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
  論文  参考訳（メタデータ） (2024-07-26T12:23:54Z)
• SMLT-MUGC: Small, Medium, and Large Texts -- Machine versus User-Generated Content Detection and Comparison [2.7147912878168303]
  我々は,(1)小規模(選挙,FIFA,ゲーム・オブ・スローンズからのツイート),(2)媒体(Wikipedia導入,PubMed要約),(3)大規模(OpenAI Webテキストデータセット)の4つのデータセットにおける機械学習アルゴリズムの性能を比較した。 その結果,非常に大きなパラメータを持つLCM(例えば1542万パラメータを持つGPT2のXL-1542変種など)は,従来の機械学習手法による検出が困難であることが示唆された。 言語学,人格,感情,偏見,道徳など,多次元にわたる人文・機械文の特徴について検討する。
  論文  参考訳（メタデータ） (2024-06-28T22:19:01Z)
• LLM can Achieve Self-Regulation via Hyperparameter Aware Generation [88.69052513433603]
  大規模言語モデル (LLM) は、生成されたテキストを制御するために様々な復号法を用いる。 LLMはこれらのデコード戦略の存在を意識し、自己統制できるのか? ハイパーパラメータ・アウェア・ジェネレーション(HAG)と呼ばれる新しいテキスト生成パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T11:18:22Z)
• ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
  ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
  論文  参考訳（メタデータ） (2024-02-17T02:25:57Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System [73.52878118434147]
  テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。 どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-09-09T18:19:47Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation [77.44921096644698]
  本稿では,復号化アルゴリズムがLMフェアネスに与える影響を体系的に分析する。 公平さ、多様性、品質のトレードオフを分析します。
  論文  参考訳（メタデータ） (2022-10-07T21:33:34Z)
• On Decoding Strategies for Neural Text Generators [73.48162198041884]
  言語生成タスクと復号化戦略の相互作用について検討する。 生成したテキストの属性の変化をデコード戦略とタスクの両方の関数として測定する。 以上の結果から,これまで観察された結果と意外な結果の両方が明らかとなった。
  論文  参考訳（メタデータ） (2022-03-29T16:25:30Z)
• GenAug: Data Augmentation for Finetuning Text Generators [21.96895115572357]
  本稿では,Yelp Reviews のサブセット上で GPT-2 を微調整するための外部知識を含む様々な拡張手法を提案し,評価する。 実験により,文字レベルの合成ノイズの挿入とハイパーネムのキーワード置換が効果的な拡張法であることを実証した。
  論文  参考訳（メタデータ） (2020-10-05T05:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。