論文の概要: Design Creativity Bench: Measuring creativity in LLM-Generated UI

• arxiv url: http://arxiv.org/abs/2610.11539v1
• Date: Thu, 08 Oct 2026 09:09:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 11:59:33.745864
• Title: Design Creativity Bench: Measuring creativity in LLM-Generated UI
• Title（参考訳）: デザインクリエイティビティベンチ: LLM生成UIにおける創造性の測定
• Abstract要約: UI設計の多様性と適切性を評価するベンチマークであるDesign Creativity Benchを紹介します。 同じプロンプト(オリジナル性)上のモデル間の特色、異なる製品ドメイン(創造範囲)における同じUI目標に対する2つのプロンプト間の設計変更の程度、各デザインが満たす短い受け入れ基準の共有(適切性)を測定する。 我々の研究は、LLMのデフォルト出力が一般的には適切であるが、人間のベースラインよりもかなり反復的であることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As leading LLMs improve on capability evaluations, their limitations in producing creative outputs on design tasks remain insufficiently characterised. Our work introduces Design Creativity Bench, a benchmark that evaluates diversity and appropriateness in UI designs. It measures distinctiveness among models on the same prompt (originality), how much a model's designs change between two prompts for the same UI goal in different product domains (creative range), and the share of a brief's acceptance criteria each design meets (appropriateness). Originality is 0.592 for same-prompt design pairs from different models (95% CI [0.582, 0.602]), far below the 0.764 for same-prompt human-model pairs (95% CI [0.751, 0.778]). Creative range is 0.581 across models (95% CI [0.567, 0.597]), against 0.902 for human designs (95% CI [0.884, 0.919]). Appropriateness is above 90% for every model, and the best model reaches 99.2%, slightly above the 98.0% for human designs. Our work shows that the default output of LLMs, though generally appropriate, is substantially more repetitive than the human baseline. This calls for strong measures to address the issue.
• Abstract（参考訳）: LLMの先導による能力評価の改善に伴い、設計タスクにおける創造的なアウトプットの限界は、まだ十分に特徴づけられていない。 UI設計の多様性と適切性を評価するベンチマークであるDesign Creativity Benchを紹介します。 同じプロンプト(オリジナル性)上のモデル間の識別性、異なる製品ドメイン(創造範囲)における同じUI目標に対する2つのプロンプト間のモデル設計の変化の程度、各設計が満たす短い受け入れ基準の共有度(適切性)を測定する。 原点は、異なるモデル(95% CI [0.582, 0.602])の同一プロンプト設計ペアの0.592であり、同じプロンプト人間モデルペアの0.764よりもはるかに低い(95% CI [0.751, 0.778])。 創造範囲は、95% CI (0.567, 0.597] に対して、95% CI (0.884, 0.919]) に対して0.581である。 正当性はすべてのモデルで90%以上であり、最良のモデルは99.2%に達し、人間のデザインでは98.0%よりわずかに高い。 我々の研究は、LLMのデフォルト出力が一般的には適切であるが、人間のベースラインよりもかなり反復的であることを示している。 これにより、この問題に対処する強力な措置が求められます。

関連論文リスト

• Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models [73.50370994588927]
  ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。 我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
  論文  参考訳（メタデータ） (2026-09-21T16:48:50Z)
• Distill Globally, Adapt Locally: Reasoning Distillation and Product-Type Test-Time Training for Scalable Trade-Up Recommendation [4.571228446381617]
  トレーディングアップレコメンデーションは、アップグレードされた利益を提供しながら顧客の購入意図を維持する高品質な代替手段を特定する。 大規模言語モデル(LLM)はそのような区別を推論することができるが、数億の製品に直接適用することは運用上不可能である。 我々は, LLM推論を効率的な非生成的学生に蒸留し, その意思決定境界を製品タイプ固有のトレードオフ基準に適合させる2段階の枠組みを導入する。
  論文  参考訳（メタデータ） (2026-09-04T17:08:50Z)
• MuseCritic: Learning Multi-Aspect Song Rewards through Natural-Language Aesthetic Critiques [58.249736525099614]
  5つの美的次元をカバーする自然言語批評を生成する半スカラー報酬モデルMUSECRITICを導入する。 MUSECRITICをGRPOで使用すると、SongEvalとAudiobox Aestheticsの9つの美的指標でMuse-0.6Bが改善される。
  論文  参考訳（メタデータ） (2026-08-12T07:49:17Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
  現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。 我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
  論文  参考訳（メタデータ） (2025-10-16T12:23:13Z)
• Creativity Benchmark: A benchmark for marketing creativity for large language models [0.509780930114934]
  Creativity Benchmarkは、マーケティングのクリエイティビティにおける大規模言語モデル(LLM)の評価フレームワークである。 このベンチマークは100のブランド(12のカテゴリ)と3つのプロンプトタイプ(Insights, Ideas, Wild Ideas)をカバーする。
  論文  参考訳（メタデータ） (2025-09-05T04:44:29Z)
• A Mixture of Experts (MoE) model to improve AI-based computational pathology prediction performance under variable levels of histopathology image blur [0.0]
  我々は、データに基づいて訓練された複数の専門家モデルの予測と、さまざまなぼかしレベルを組み合わせた、専門家(MoE)戦略の混合を紹介する。 その結果,ベースラインモデルの性能はボケの増加とともに一貫して低下していた。 MoE-CNN_CLAMは、中程度および混合のぼかし条件下で、ベースラインCNN_CLAMより優れていた。
  論文  参考訳（メタデータ） (2024-05-15T12:40:41Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。