論文の概要: Evaluating LLM Creativity through Long-Tail Performance

• arxiv url: http://arxiv.org/abs/2610.12998v1
• Date: Fri, 09 Oct 2026 05:03:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.39514
• Title: Evaluating LLM Creativity through Long-Tail Performance
• Title（参考訳）: 長距離走行によるLCMの創造性評価
• Abstract要約: 大規模言語モデルの創造性ベンチマークはタスクとメートル法設計で大きく異なる。 このことは、創造性という共通の概念を捉えているかどうかという疑問を提起する。 本稿では,この共有対象を参照入力出力分布の長テールにおけるタスク固有性能として定式化することを提案する。
• 参考スコア（独自算出の注目度）: 17.46996826832689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creativity benchmarks for large language models (LLMs) vary widely in task and metric design. This raises the question of whether they capture a common notion of creativity. We propose that this shared target can be formalized as task-specific performance in the long tail of a reference input-output distribution, which describes how common input-output pairs are relative to a chosen source of text. We ground this proposition in the novelty-quality product formulation and evaluate it empirically across 15 benchmarks and 26 open-weight models, using n-gram absence from the pretraining data as a novelty proxy. Our results show that creativity benchmarks lie further in the tail regions than standard benchmarks. Moreover, on both creativity and standard benchmarks, model rankings from higher-tail subsets of each benchmark align more closely with human creativity judgments in LM-Arena. Building on these findings, we introduce q@Tail($α$), a lower-cost creativity diagnostic that measures mean task quality on the tail fraction of an existing benchmark. Applying it to creativity-promoting methods reveals substantial room to improve LLM creativity through stronger tail performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)の創造性ベンチマークはタスクやメートル法設計において大きく異なる。 このことは、創造性という共通の概念を捉えているかどうかという疑問を提起する。 本稿では,この共有ターゲットを参照入力出力分布の長い尾においてタスク固有性能として定式化し,テキストのソースに対する共通入力出力ペアの相対性について述べる。 我々は、この提案を新規品質の製品定式化に基礎を置いて、15のベンチマークと26のオープンウェイトモデルで実証的に評価し、事前学習データからn-gramの欠如をノベルティプロキシとして利用した。 我々の結果は、創造性ベンチマークが標準ベンチマークよりも尾部領域にあることを示している。 さらに、クリエイティビティと標準ベンチマークの両方において、各ベンチマークの上位サブセットのモデルランキングは、LM-Arenaの人間のクリエイティビティ判断とより密接に一致している。 これらの結果に基づいて,既存のベンチマークでタスク品質を計測する低コストなクリエイティビティ診断であるq@Tail($α$)を導入する。 クリエイティビティ・プロモーティング・メソッドに適用することで、より強力なテールパフォーマンスによってLCMのクリエイティビティを改善する余地が明らかになる。

関連論文リスト

• Automated Creativity Evaluation of Language Models Across Open-Ended Tasks [3.6948012022450776]
  大規模言語モデル(LLM)は言語理解、推論、生成において顕著な進歩を遂げた。 オープンなタスク間でLCMの創造性を定量化する,ドメインに依存しない自動化フレームワークを導入する。 提案手法は,創造的なタスク自体から計測装置を分離し,スケーラブルでタスクに依存しない評価を可能にする。
  論文  参考訳（メタデータ） (2026-06-10T07:37:06Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Creation-MMBench: Assessing Context-Aware Creative Intelligence in MLLM [58.42678619252968]
  Creation-MMBenchはマルチモーダル大言語モデルの創造性を評価するために設計されたベンチマークである。 ベンチマークは、51のきめ細かいタスクにまたがる765のテストケースで構成されている。 実験結果から,オープンソースのMLLMは,クリエイティブタスクにおけるプロプライエタリなモデルに比べて著しく性能が劣っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-18T17:51:34Z)
• A Causality-aware Paradigm for Evaluating Creativity of Multimodal Large Language Models [100.16387798660833]
  オオギリゲーム(オオギリゲーム)は、ユーモアと連想的思考を必要とする創造的な仕事である。 LoTbenchはインタラクティブで因果性を考慮した評価フレームワークである。 その結果、ほとんどのLLMは制約された創造性を示すが、LLMと人間の間の性能格差は克服できないことがわかった。
  論文  参考訳（メタデータ） (2025-01-25T09:11:15Z)
• Do LLMs Agree on the Creativity Evaluation of Alternative Uses? [0.4326762849037007]
  本稿では,大規模言語モデル (LLM) が,代替利用テスト (AUT) への対応において,創造性を評価することに合意しているかどうかを検討する。 AUT応答のオラクルベンチマークセットを用いて、これらの出力を評価する4つの最先端LCMを実験した。 その結果、モデル間の高い合意が示され、スピアマンの相関はモデル全体で0.7以上、オラクルに関して0.77以上に達している。
  論文  参考訳（メタデータ） (2024-11-23T13:34:50Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。