論文の概要: CreativeInstruct: Scalably Teaching LLMs to Balance Quality, Creativity, and Diversity
- arxiv url: http://arxiv.org/abs/2608.07460v1
- Date: Fri, 07 Aug 2026 17:55:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.588758
- Title: CreativeInstruct: Scalably Teaching LLMs to Balance Quality, Creativity, and Diversity
- Title（参考訳）: Creative Instruct: 品質、創造性、多様性のバランスをとるために、LLMをスケーラブルに教える
- Abstract要約: CreativeInstructは、大規模言語モデルに、創造的なベースモデルのような世代と、ポストトレーニング後のモデルの質のバランスをとるように教えるインストラクションチューニング手法である。
我々は,CreativeInstructが多モデルベースラインの多様性と,その出力の蒸留変種の両方に適合しているか,あるいは超越しているかを示す。
GRPOをCreative Instructチェックポイントに適用すると、AMCでは4%、MATHでは5%改善する。
- 参考スコア（独自算出の注目度）: 67.74087963315213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While post-training improves the capabilities of large language models (LLMs), it generally lowers their output diversity and creativity, negatively impacting tasks that explicitly require creativity (e.g., story generation) as well as those that require it implicitly, e.g., reinforcement learning (RL). We instead propose CreativeInstruct, a scalable instruction-tuning method that teaches LLMs to balance creative, base-model-like generations with the quality of post-trained models, by learning to inject special [StartCreativity] spans that bias generation toward creativity. Furthermore, we introduce a structural diversity metric based on graph edit distance, which captures narrative level variation missed by purely lexical and semantic metrics. On narrative generation, CreativeInstruct matches or exceeds the diversity of both multi-model baselines and distilled variants of their outputs, without sacrificing quality or requiring multiple models at inference time. These results are mirrored in our human evaluation, where we find that annotators rate CreativeInstruct generations as more creative than the post-trained LLMs' generations in 70.3% of cases. We also show the benefits of creative models as a substrate for RL: GRPO applied to a CreativeInstruct checkpoint improves by ~4% on AMC and ~5% points on MATH over the same training applied to the post-trained checkpoint.
- Abstract（参考訳）: ポストトレーニングは大きな言語モデル(LLM)の能力を改善するが、一般的にアウトプットの多様性とクリエイティビティを低下させ、創造性(ストーリー生成など)を明確に要求するタスクや、暗黙的に要求するタスク、例えば強化学習(RL)に悪影響を及ぼす。
その代わりに、創造性に偏ったバイアス生成を創造性に向けて注入することを学ぶことによって、LLMに創造的でベースモデルのような世代と訓練後のモデルの品質のバランスをとるように教えるスケーラブルな命令チューニング手法であるCreativeInstructを提案する。
さらに、グラフ編集距離に基づく構造的多様性尺度を導入し、純粋に語彙的および意味的な指標によって欠落した物語レベルの変動をキャプチャする。
物語生成において、CreativeInstructは、品質を犠牲にしたり、推論時に複数のモデルを必要とすることなく、多モデルベースラインと蒸留された出力のバリエーションの両方の多様性を一致または超える。
これらの結果は人間の評価に反映され、アノテーターは、70.3%のケースにおいて、ポストトレーニング後のLLM世代よりも創造的インストラクション世代をより創造的に評価する。
GRPOをCreative Instructチェックポイントに適用すると、AMCで約4%、MATHで約5%改善し、ポストトレーニング後のチェックポイントで適用されたのと同じトレーニングよりも、MATHで約5%向上する。
関連論文リスト
- Playing with Words, Improving with Rewards: Training Language Models for Creative Association [9.232251624834644]
大きな言語モデル(LLM)は、ますます困難な問題やユースケースに適用されています。
広大なソリューション空間を効果的にナビゲートするには、LLMは創造的である必要がある。
Codenamesは、クリエイティビティの2つの中心となる軸をエクササイズするワード連想ゲームです。
論文 参考訳（メタデータ） (2026-05-27T01:41:22Z) - CREATE: Testing LLMs for Associative Creativity [51.64544603712446]
創造的連想的推論のためのモデルの能力を評価するためのベンチマークであるCREATEを紹介する。
最強のモデルが他のモデルよりも高い創造性を達成することを示す。
私たちの結果は、高いトークン予算であっても、思考モデルがタスクに対してより効果的であるとは限らないことを示しています。
論文 参考訳（メタデータ） (2026-03-10T17:58:44Z) - Beyond Divergent Creativity: A Human-Based Evaluation of Creativity in Large Language Models [6.036586911740041]
大規模言語モデル(LLM)は、言語的創造的なタスクにますます使われています。
広く使われているダイバージェント・アソシエーション・タスク(DAT)は、新規性を重視し、適切性を無視している。
DAT上での最先端のLCMの範囲を評価し、そのタスクにおけるスコアが、創造力を持たない2つのベースラインのスコアよりも低いことを示す。
論文 参考訳（メタデータ） (2026-01-28T12:41:32Z) - CreativityPrism: A Holistic Benchmark for Large Language Model Creativity [64.18257552903151]
創造性はしばしば人間の知能の目印と見なされる。
さまざまなシナリオにまたがってクリエイティビティを評価するための総合的なフレームワークはまだ存在しません。
本稿では,創造性を質,新規性,多様性の3次元に分解する評価分析フレームワークであるCreativePrismを提案する。
論文 参考訳（メタデータ） (2025-10-23T00:22:10Z) - Jointly Reinforcing Diversity and Quality in Language Model Generations [64.72289248044514]
大規模言語モデル(LM)のポストトレーニングは、しばしば多様性を犠牲にして正確さと役に立つことを優先する。
DARling(Diversity-Aware Reinforcement Learning)は、応答品質とセマンティック多様性を協調的に最適化するフレームワークである。
論文 参考訳（メタデータ） (2025-09-02T17:38:47Z) - Creative Preference Optimization [17.849454438382995]
複数の創造性次元からの信号をモジュール方式で優先最適化対象に注入する新しいアライメント手法を提案する。
大規模な人選好データセットであるCrPOと MuCE を用いて,創造性向上型モデルをトレーニングし,評価する。
我々のモデルは、自動評価と人的評価の両方において、GPT-4oを含む強力なベースラインを上回ります。
論文 参考訳（メタデータ） (2025-05-20T14:43:41Z) - Cooking Up Creativity: Enhancing LLM Creativity through Structured Recombination [46.79423188943526]
本稿では,LLM(Large Language Models)の創造性を高める新しいアプローチを提案する。
自然言語と構造化表現の翻訳にLLMを適用し,その中心となる創造的飛躍を行う。
我々は、創造的なレシピを生成するモデルであるDishCOVERを用いて、料理分野における我々のアプローチを実証する。
論文 参考訳（メタデータ） (2025-04-29T11:13:06Z) - Modifying Large Language Model Post-Training for Diverse Creative Writing [12.872333448726595]
創造的な文章生成において、出力の多様性と品質の両方を促進するためのポストトレーニングアプローチについて検討する。
私たちの中核となる考え方は、希少な高品質なインスタンスからの学習を容易にするためのトレーニング目標の逸脱を含めることです。
8Bパラメータの最良のモデルは、最高の命令チューニングモデルに似た出力品質を持ちながら、人間の作成したデータセットとしてオンパー多様性を達成することができる。
論文 参考訳（メタデータ） (2025-03-21T13:21:45Z) - Creation-MMBench: Assessing Context-Aware Creative Intelligence in MLLM [58.42678619252968]
Creation-MMBenchはマルチモーダル大言語モデルの創造性を評価するために設計されたベンチマークである。
ベンチマークは、51のきめ細かいタスクにまたがる765のテストケースで構成されている。
実験結果から,オープンソースのMLLMは,クリエイティブタスクにおけるプロプライエタリなモデルに比べて著しく性能が劣っていることが明らかとなった。
論文 参考訳（メタデータ） (2025-03-18T17:51:34Z) - A Causality-aware Paradigm for Evaluating Creativity of Multimodal Large Language Models [100.16387798660833]
オオギリゲーム(オオギリゲーム)は、ユーモアと連想的思考を必要とする創造的な仕事である。
LoTbenchはインタラクティブで因果性を考慮した評価フレームワークである。
その結果、ほとんどのLLMは制約された創造性を示すが、LLMと人間の間の性能格差は克服できないことがわかった。
論文 参考訳（メタデータ） (2025-01-25T09:11:15Z) - Creativity Has Left the Chat: The Price of Debiasing Language Models [1.223779595809275]
大規模言語モデル(LLM)の創造性に対する人間からのフィードバックからの強化学習の意図しない結果について検討する。
我々の発見は、コピーライティング、広告作成、顧客ペルソナ生成といったクリエイティブなタスクにLLMを頼っているマーケターにとって大きな意味を持つ。
論文 参考訳（メタデータ） (2024-06-08T22:14:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。