論文の概要: IDEAFix: Evaluation Framework for Creative Defixation Prompting in LLMs
- arxiv url: http://arxiv.org/abs/2606.00875v1
- Date: Sat, 30 May 2026 20:15:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.896099
- Title: IDEAFix: Evaluation Framework for Creative Defixation Prompting in LLMs
- Title（参考訳）: IDEAFix: LLMにおける創造的修正プロンプトの評価フレームワーク
- Abstract要約: オープンなアイデア生成タスクにおける散発的思考を解析するための評価フレームワークであるIDEAFixを紹介する。
我々は、短い設計シナリオ、タスク属性、修正促進戦略の制御されたバリエーションに対して、複数のオリジナルソリューションを生成するようモデルに促す。
この結果から,タスクの定式化と属性選択がモデルの性能に大きく影響し,簡単なプロンプト戦略が解の独創性を高めることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used for tasks involving creative problem solving and idea generation. However, there is a lack of consensus concerning their creative capabilities: some studies report superior performances compared to humans, while others highlight structural limitations such as fixation and the homogenization of outputs. Existing evaluation approaches either rely on narrow, decontextualized tasks that do not capture goal-oriented generation or on broader settings that confound multiple aspects of the creative process, making it difficult to isolate the effects of task formulation, prompting, and evaluation design. Significantly, the role of structured prompting strategies in shaping idea generation remains underexplored. Therefore, we introduce IDEAFix, an evaluation framework for analyzing divergent thinking in open-ended idea generation tasks. We prompt models to generate multiple original solutions to controlled variations of short design scenarios, task attributes, and defixation prompting strategies. This design enables systematic analysis of how structured guidance influences LLMs' idea generation. Our results show that both task formulation and attribute selection significantly affect models' performance, and that simple prompting strategies can boost the originality of solutions. However, we also observe persistent output homogenization across models, confirming inherent limits in their ability to generate diverse solutions. Overall, IDEAFix provides a controlled, extensible framework for studying the mechanisms underlying LLMs' creativity.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、創造的な問題解決とアイデア生成を含むタスクにますます使われている。
しかしながら、創造的能力に関するコンセンサスが欠如しており、人間に比べて優れたパフォーマンスを報告している研究もある一方で、固定や出力の均質化といった構造的制限を強調している研究もある。
既存の評価アプローチは、目標指向の生成を捉えない狭義の非コンテキスト化されたタスクや、創造的プロセスの複数の側面を相殺する広範な設定に依存しているため、タスクの定式化やプロンプト、評価設計の影響を分離することは困難である。
重要なことは、アイデア生成を形作る上で構造化促進戦略が果たす役割は、まだ解明されていないことである。
そこで我々は,オープンエンドなアイデア生成タスクにおける散発的思考を分析するための評価フレームワークであるIDEAFixを紹介した。
我々は、短い設計シナリオ、タスク属性、修正促進戦略の制御されたバリエーションに対して、複数のオリジナルソリューションを生成するようモデルに促す。
この設計は、構造化ガイダンスがLLMのアイデア生成にどのように影響するかを体系的に分析することを可能にする。
その結果,タスクの定式化と属性選択がモデルの性能に大きく影響し,簡単なプロンプト戦略が解の独創性を高めることが示唆された。
しかし、モデル間での持続的な出力均質化も観察し、多様な解を生成する能力に固有の限界を確認した。
全体として、IDEAFixはLLMの創造性を支えるメカニズムを研究するための、制御された拡張可能なフレームワークを提供する。
関連論文リスト
- FormuEvo: LLM-Guided Evolution for Discovering Solver-Efficient Mixed-Integer Programming Formulations [66.32852384262038]
混合整数プログラミング(MIP)は、運用研究と産業最適化の核心にある。
FormuEvoは、解法効率のMIP式の自動発見のための進化的フレームワークである。
FormuEvoは、MIP定式化のシンボル空間上の進化的最適化として、MIP定式化設計を行う。
論文 参考訳（メタデータ） (2026-08-24T15:01:28Z) - Automated Creativity Evaluation of Language Models Across Open-Ended Tasks [3.6948012022450776]
大規模言語モデル(LLM)は言語理解、推論、生成において顕著な進歩を遂げた。
オープンなタスク間でLCMの創造性を定量化する,ドメインに依存しない自動化フレームワークを導入する。
提案手法は,創造的なタスク自体から計測装置を分離し,スケーラブルでタスクに依存しない評価を可能にする。
論文 参考訳（メタデータ） (2026-06-10T07:37:06Z) - Synergizing Understanding and Generation with Interleaved Analyzing-Drafting Thinking [154.2388970262703]
Unified Vision-Language Models (UVLM) は、単一のフレームワーク内での理解と生成の両方をサポートすることで、マルチモーダル学習を促進することを目的としている。
本稿では,解析処理と起案処理を交互に行う新たな思考パラダイムである,インターリーブド・アナライジング・ドレイティング問題解決ループ(AD-Loop)を紹介する。
テキスト思考を視覚的思考とインターリーブすることで、AD-Loopはモデルが理解と出力の両方を反復的に洗練し、真のシナジーを育むことができる。
論文 参考訳（メタデータ） (2026-02-24T23:26:09Z) - DPWriter: Reinforcement Learning with Diverse Planning Branching for Creative Writing [78.70918589095639]
強化学習(RL)に基づく大規模言語モデル(LLM)の強化は、しばしば出力の多様性を低下させる。
本稿では,半構造化長鎖(CoT)を中心に構成されたRLフレームワークを提案する。
本稿では,多様性の多様性に基づいて,計画段階での分岐を戦略的に導入する横計画分岐手法を提案する。
論文 参考訳（メタデータ） (2026-01-14T16:30:20Z) - Integrating Diverse Assignment Strategies into DETRs [61.61489761918158]
ラベル割り当ては、特にDETRスタイルのフレームワークにおいて、オブジェクト検出器において重要なコンポーネントである。
我々は,任意のDETR型検出器に多様な割り当て戦略をシームレスに統合する,フレキシブルで軽量なフレームワークであるLoRA-DETRを提案する。
論文 参考訳（メタデータ） (2026-01-14T07:28:54Z) - Who Sees What? Structured Thought-Action Sequences for Epistemic Reasoning in LLMs [1.090218572228214]
本研究では,LLMをベースとしたReActフレームワークの性能向上のための構造化例の可能性について検討した。
本稿では、最適ゴールパス(G型)、情報ノードパス(E型)、ステップバイステップの最適決定シーケンス(L型)の3つのカテゴリの例を生成する、構造化された解処理パイプラインを提案する。
L型の例は、明確化要求と全体的なアクションステップをわずかに削減するが、一貫性のある改善は得られない。
論文 参考訳（メタデータ） (2025-08-20T09:36:53Z) - Breaking Thought Patterns: A Multi-Dimensional Reasoning Framework for LLMs [3.5056249219229296]
大規模言語モデル(LLM)は、しばしば厳格な推論プロセスによって制約され、創造的な応答を生成する能力を制限する。
これを解決するために、LADDERと呼ばれる新しいフレームワークを提案し、Chain-of-Thought(CoT)推論、Mixture of Experts(MoE)モデル、多次元アップ/ダウンサンプリング戦略を組み合わせた。
論文 参考訳（メタデータ） (2025-06-16T07:59:51Z) - Reasoning Meets Personalization: Unleashing the Potential of Large Reasoning Model for Personalized Generation [21.89080753903469]
パーソナライズタスクのための大規模推論モデル(LRM)の最初の体系的評価について述べる。
本分析では, 分散思考, 応答形式の不整合, 検索情報の有効利用の3つの重要な限界を同定した。
階層的推論思考テンプレートを組み込んだ新しいフレームワークであるReinforced Reasoning for Personalization (model)を提案する。
論文 参考訳（メタデータ） (2025-05-23T07:30:13Z) - ModelingAgent: Bridging LLMs and Mathematical Modeling for Real-World Challenges [72.19809898215857]
ModelingBenchは、様々な領域にわたる数学モデリングの競争から、現実に着想を得たオープンエンドの問題を特徴付ける新しいベンチマークである。
これらのタスクには、自然言語を形式的な数学的定式化に翻訳し、適切なツールを適用し、構造化された防御可能なレポートを生成する必要がある。
ツール使用をコーディネートするマルチエージェントフレームワークである ModelingAgent も紹介します。
論文 参考訳（メタデータ） (2025-05-21T03:33:23Z) - Deliberate Reasoning in Language Models as Structure-Aware Planning with an Accurate World Model [14.480267340831542]
高精度世界モデル(SWAP)による構造認識計画
SWAPは構造化知識表現と学習計画を統合する。
SWAPは,数理推論,論理推論,コーディングタスクなど,多種多様な推論集約型ベンチマークで評価される。
論文 参考訳（メタデータ） (2024-10-04T04:23:36Z) - Benchmarking Language Model Creativity: A Case Study on Code Generation [39.546827184857754]
本研究では,LLMの創造性を定量化するフレームワークを提案する。
生成した創造的応答における収束的思考と発散的思考の両方を定量化する計量であるNEOGAUGEを定義する。
我々はCodeforcesの問題に関する提案されたフレームワークをテストする。これは、タスクをコーディングするための自然なデータセットと、先行する人間のソリューションのコレクションの両方に役立ちます。
論文 参考訳（メタデータ） (2024-07-12T05:55:22Z) - Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
本稿では,この新技術について概観する。
論文 参考訳（メタデータ） (2023-08-06T18:38:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。