論文の概要: Is Temperature the Creativity Parameter of Large Language Models?

• arxiv url: http://arxiv.org/abs/2405.00492v1
• Date: Wed, 1 May 2024 12:59:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 15:37:50.389615
• Title: Is Temperature the Creativity Parameter of Large Language Models?
• Title（参考訳）: 大規模言語モデルの創造性パラメータは温度か?
• Authors: Max Peeperkorn, Tom Kouwenhoven, Dan Brown, Anna Jordanous,
• Abstract要約: 大規模言語モデル(LLM)の創造性に及ぼす温度の影響について検討する。 温度は新奇性と弱く、当然ながら、不整合と適度に相関していることがわかった。 以上の結果から, LLMは温度が高くなるにつれて, より新しい出力を生成することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are applied to all sorts of creative tasks, and their outputs vary from beautiful, to peculiar, to pastiche, into plain plagiarism. The temperature parameter of an LLM regulates the amount of randomness, leading to more diverse outputs; therefore, it is often claimed to be the creativity parameter. Here, we investigate this claim using a narrative generation task with a predetermined fixed context, model and prompt. Specifically, we present an empirical analysis of the LLM output for different temperature values using four necessary conditions for creativity in narrative generation: novelty, typicality, cohesion, and coherence. We find that temperature is weakly correlated with novelty, and unsurprisingly, moderately correlated with incoherence, but there is no relationship with either cohesion or typicality. However, the influence of temperature on creativity is far more nuanced and weak than suggested by the "creativity parameter" claim; overall results suggest that the LLM generates slightly more novel outputs as temperatures get higher. Finally, we discuss ideas to allow more controlled LLM creativity, rather than relying on chance via changing the temperature parameter.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、あらゆる種類の創造的なタスクに適用され、そのアウトプットは美しいものから特異なもの、パスティッシュまで様々である。 LLMの温度パラメータはランダム性の量を調節し、より多様な出力をもたらすため、創造性パラメータであるとしばしば主張される。 本稿では,所定の文脈,モデル,プロンプトを有する物語生成タスクを用いて,この主張を考察する。 具体的には、物語生成における創造性に必要な4つの条件(新規性、典型性、凝集性、コヒーレンス)を用いて、異なる温度値に対するLLM出力の実証分析を行う。 温度は新鮮さと弱い相関がみられ、当然ながら不整合と適度に相関するが、密着性や典型性には関係がない。 しかし、創造性に対する温度の影響は「創造性パラメータ」の主張よりも遥かに微妙で弱い。 最後に、温度パラメータの変更によるチャンスに頼るのではなく、より制御されたLCM創造性を実現するためのアイデアについて議論する。

関連論文リスト

• Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
  モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。 我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
  論文  参考訳（メタデータ） (2024-11-14T18:31:39Z)
• Order Matters in Hallucination: Reasoning Order as Benchmark and Reflexive Prompting for Large-Language-Models [0.0]
  大規模言語モデル(LLM)は、その誕生以来、様々な学術分野や産業分野にまたがって大きな注目を集めてきた。 LLMはしばしば「ハロシン化問題」に悩まされるが、出力は文法的にも論理的にも一貫性があり、事実の正確性に欠ける。
  論文  参考訳（メタデータ） (2024-08-09T14:34:32Z)
• Critical Phase Transition in Large Language Models [0.0]
  大きな言語モデル(LLM)は素晴らしいパフォーマンスを示しています。 それらの振る舞いを理解するためには、LCMが時折質的な変化を示すという事実を考慮する必要がある。 温度パラメータが変化すると, LLM に相転移が生じることが示唆された。
  論文  参考訳（メタデータ） (2024-06-08T03:37:05Z)
• EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling [31.663507929452564]
  生成品質と多様性のバランスをとるために,効率的なエントロピーに基づく動的温度サンプリング法を提案する。 我々の実験によると、EDTは様々なタスクで既存の戦略を著しく上回ります。
  論文  参考訳（メタデータ） (2024-03-21T16:41:12Z)
• CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
  我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。 ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:12:12Z)
• The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
  ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。 LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。 自己補充ベースラインよりも+5ポイントの性能向上を達成する。
  論文  参考訳（メタデータ） (2023-11-14T07:26:32Z)
• FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation [92.43001160060376]
  本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。 多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。 我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。 これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
  論文  参考訳（メタデータ） (2023-10-05T00:04:12Z)
• Hot or Cold? Adaptive Temperature Sampling for Code Generation with Large Language Models [54.72004797421481]
  コード生成に特化したデコード戦略を検討するために、最初の体系的な研究を行う。 以上の知見に触発されて,適応温度(AdapT)サンプリング法を提案する。 その結果,AdapTサンプリングは最先端の復号化戦略を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-09-06T06:27:33Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• KL-Divergence Guided Temperature Sampling [5.726259957909055]
  温度が上がると、予測は多様になるが、幻覚にも弱い。 幻覚を緩和するための一般的なアプローチは、ソース/グラウンドのドキュメントを提供することである。 本稿では,デコードステップよりも温度が一定であることの制約を緩和すると共に,その発生源との関係に応じて動的温度を誘導する機構を提案する。
  論文  参考訳（メタデータ） (2023-06-02T06:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。