論文の概要: Recipes for Creativity: Iterative Generation and Evaluation in Large Language Models

• arxiv url: http://arxiv.org/abs/2608.07243v1
• Date: Fri, 07 Aug 2026 14:02:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.524196
• Title: Recipes for Creativity: Iterative Generation and Evaluation in Large Language Models
• Title（参考訳）: 創造性のためのレシピ:大規模言語モデルにおける反復生成と評価
• Abstract要約: 本研究では,2024 Pillsbury Bake-Offのレシピ生成にFunSearchを適用することにより,反復検索がクリエイティビティを向上させるかを検討する。 2つの実験において、繰り返し回数、発電機温度、ループ内選択-スカラーモデルサイズを試験した。 その結果、反復世代選択は人間のベンチマークに匹敵するクリエイティビティスコアを持つレシピを生成することができるが、追加のイテレーションだけではクリエイティビティを改善することはできない。
• 参考スコア（独自算出の注目度）: 0.4549831511476248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models are often evaluated through singular artifacts, whereas human creativity typically emerges through iterative generation, appraisal, and refinement. This pilot study examines whether iterative search improves LLM creativity by adapting FunSearch to recipe generation for the 2024 Pillsbury Bake-Off and evaluating outputs against human benchmarks using TTCT-based LLM evaluation. Across two experiments, we test iteration count, generator temperature, and in-loop selection-scorer model size. Results show that iterative generation-selection can produce recipes with creativity scores comparable to human benchmarks, but additional iterations alone do not improve creativity. The in-loop evaluator matters most: a smaller selection scorer yields significantly higher scores across most TTCT dimensions, while temperature has limited effects except for originality. These findings suggest that evaluator design is a first-order design variable in subjective creative search.
• Abstract（参考訳）: 生成モデルはしばしば特異なアーティファクトを通して評価されるが、人間の創造性は通常、反復生成、評価、洗練を通じて現れる。 本研究では,2024 Pillsbury Bake-Off のレシピ生成にFunSearch を適用し,TTCT を用いた LLM 評価によるヒトベンチマークに対する出力を評価することにより,反復探索が LLM の創造性を向上するか否かを検証した。 2つの実験において、繰り返し回数、発電機温度、ループ内選択-スカラーモデルサイズを試験した。 その結果、反復生成選択は人間のベンチマークに匹敵する創造性のスコアを持つレシピを生成することができるが、追加のイテレーションだけでは創造性を改善することはできない。 ループ内評価器は、ほとんどのTTCT次元において、より小さい選択スコアがかなり高いスコアを得るのに対して、温度は独創性を除いて限定的な効果を持つ。 これらの結果から,評価器設計は主観的創造探索における一階設計変数であることが示唆された。

関連論文リスト

• CreativeInstruct: Scalably Teaching LLMs to Balance Quality, Creativity, and Diversity [67.74087963315213]
  CreativeInstructは、大規模言語モデルに、創造的なベースモデルのような世代と、ポストトレーニング後のモデルの質のバランスをとるように教えるインストラクションチューニング手法である。 我々は,CreativeInstructが多モデルベースラインの多様性と,その出力の蒸留変種の両方に適合しているか,あるいは超越しているかを示す。 GRPOをCreative Instructチェックポイントに適用すると、AMCでは4%、MATHでは5%改善する。
  論文  参考訳（メタデータ） (2026-08-07T17:55:48Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• Has the Creativity of Large-Language Models peaked? An analysis of inter- and intra-LLM variability [23.509294903995745]
  実証された2つのクリエイティビティ・アセスメントにおいて,広く使用されている大規模言語モデル(LLM)を14種類評価した。 予想とは対照的に、過去18～24ヶ月でクリエイティブなパフォーマンスが向上した証拠は見つからなかった。 同じプロンプトを与えられたLLMは、平均以下からオリジナルまで、アウトプットを生成できる。
  論文  参考訳（メタデータ） (2025-04-10T19:18:56Z)
• Do LLMs Agree on the Creativity Evaluation of Alternative Uses? [0.4326762849037007]
  本稿では,大規模言語モデル (LLM) が,代替利用テスト (AUT) への対応において,創造性を評価することに合意しているかどうかを検討する。 AUT応答のオラクルベンチマークセットを用いて、これらの出力を評価する4つの最先端LCMを実験した。 その結果、モデル間の高い合意が示され、スピアマンの相関はモデル全体で0.7以上、オラクルに関して0.77以上に達している。
  論文  参考訳（メタデータ） (2024-11-23T13:34:50Z)
• The creative psychometric item generator: a framework for item generation and validation using large language models [1.765099515298011]
  大規模な言語モデル(LLM)は、高い創造性を必要とする職場プロセスを自動化するために使われています。 我々は,創造的問題解決(CPS)タスクという,古典的な自由応答性創造性テストのためのテスト項目を作成するための心理的にインスパイアされたフレームワークを開発する。 CPIGが有効かつ信頼性の高い項目を生成し、この効果が評価過程における既知のバイアスに寄与しないという強い実証的証拠が得られた。
  論文  参考訳（メタデータ） (2024-08-30T18:31:02Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Towards Creativity Characterization of Generative Models via Group-based Subset Scanning [64.6217849133164]
  創造的プロセスを特定し,定量化し,特徴付けるグループベースサブセットスキャンを提案する。 創造的なサンプルは、データセット全体にわたる通常のサンプルや非創造的なサンプルよりも大きな異常のサブセットを生成する。
  論文  参考訳（メタデータ） (2022-03-01T15:07:14Z)
• An Evaluation Study of Generative Adversarial Networks for Collaborative Filtering [75.83628561622287]
  本研究は、原論文で発表された結果の再現に成功し、CFGANフレームワークと原評価で使用されるモデルとの相違が与える影響について論じる。 この研究は、CFGANと単純でよく知られた適切に最適化されたベースラインの選択を比較した実験的な分析をさらに拡張し、CFGANは高い計算コストにもかかわらず、それらに対して一貫して競合していないことを観察した。
  論文  参考訳（メタデータ） (2022-01-05T20:53:27Z)
• Towards creativity characterization of generative models via group-based subset scanning [51.84144826134919]
  創造的プロセスを定量化し,検出し,特徴付けるグループベースサブセットスキャンを提案する。 創造的なサンプルは、データセットをまたいだ通常または非創造的なサンプルよりも大きな異常のサブセットを生成する。
  論文  参考訳（メタデータ） (2021-04-01T14:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。