論文の概要: GENIE: A Fine-Grained Measure for Novelty

• arxiv url: http://arxiv.org/abs/2606.12790v1
• Date: Thu, 11 Jun 2026 01:14:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.525761
• Title: GENIE: A Fine-Grained Measure for Novelty
• Title（参考訳）: genie:ノベルティのための細粒度測定器
• Authors: Ramya Namuduri, Manya Wadhwa, Anshun Asher Zheng, Greg Durrett, Junyi Jessy Li,
• Abstract要約: 大規模言語モデルは、タスク間の創造性と多様性の欠如を一貫して示している。 ここでは,新規性を考察し,モデル生成コンテンツが新規であるか否かをタスク固有の方法で検討することを目的とする。 本稿では,タスク固有の特徴に沿った応答の新規性を測定するための詳細な評価指標GenIEを提案する。
• 参考スコア（独自算出の注目度）: 52.134780556216974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models have consistently demonstrated a lack of creativity and diversity across tasks. Prior work has focused on addressing whether models are capable of generating creative outputs. Here, we aim to consider novelty and investigate what makes model-generated content novel or not novel in a task-specific manner. We propose a fine-grained evaluation metric GENIE to measure the novelty of responses along task-specific features with respect to a population of responses. We show that unlike GENIE, holistic metrics struggle to capture the high-dimensionality of novelty and do not provide insight on which properties they target. Finally, we use GENIE to measure the effectiveness of mitigation methods that address creativity to better understand where these methods can improve novelty.
• Abstract（参考訳）: 大規模言語モデルは、タスク間の創造性と多様性の欠如を一貫して示している。 これまでの研究は、モデルが創造的なアウトプットを生成できるかどうかに焦点を合わせてきた。 本稿では,新規性を考察し,モデル生成コンテンツが新規であるか否かをタスク固有の方法で検討することを目的とする。 本稿では,タスク固有の特徴に沿った応答の新規性を測定するための詳細な評価指標GenIEを提案する。 GENIEとは異なり、全体論的指標はノベルティの高次元性を捉えるのに苦労しており、どの特性を対象としているのかの洞察を与えていないことを示す。 最後に、創造性に対処する緩和手法の有効性を測定するためにGENIEを使用し、これらの手法が新規性を改善することができるかをよりよく理解する。

関連論文リスト

• Automated Creativity Evaluation of Language Models Across Open-Ended Tasks [3.6948012022450776]
  大規模言語モデル(LLM)は言語理解、推論、生成において顕著な進歩を遂げた。 オープンなタスク間でLCMの創造性を定量化する,ドメインに依存しない自動化フレームワークを導入する。 提案手法は,創造的なタスク自体から計測装置を分離し,スケーラブルでタスクに依存しない評価を可能にする。
  論文  参考訳（メタデータ） (2026-06-10T07:37:06Z)
• InnoGym: Benchmarking the Innovation Potential of AI Agents [74.64144272881414]
  InnoGymはAIエージェントのイノベーションの可能性を評価するために設計された最初のベンチマークである。 InnoGym氏は2つの相補的なメトリクスを紹介している。パフォーマンスゲイン(パフォーマンスゲイン)と、従来のアプローチと方法論的な違いを捉えるノベルティ(ノベルティ)だ。
  論文  参考訳（メタデータ） (2025-12-01T16:03:04Z)
• CreativityPrism: A Holistic Benchmark for Large Language Model Creativity [64.18257552903151]
  創造性はしばしば人間の知能の目印と見なされる。 さまざまなシナリオにまたがってクリエイティビティを評価するための総合的なフレームワークはまだ存在しません。 本稿では,創造性を質,新規性,多様性の3次元に分解する評価分析フレームワークであるCreativePrismを提案する。
  論文  参考訳（メタデータ） (2025-10-23T00:22:10Z)
• Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity [29.58419742230708]
  N-gramノベルティは、トレーニングデータ以外のテキストを生成する言語モデルの能力を評価するために広く利用されている。 我々は,この創造性の概念とn-gramの新規性との関係を,人間とAIが生成したテキストの密読を通して検討する。 我々は,n-gramの新規性は,専門家が判断する創造性と肯定的に関連しているのに対し,n-gramの新規性によるトップクァアタイル表現の91%は創造性とは判断されないことがわかった。
  論文  参考訳（メタデータ） (2025-09-26T17:59:05Z)
• Measuring LLM Novelty As The Frontier Of Original And High-Quality Output [22.876599736420832]
  本稿では,大規模言語モデル(LLM)の創発性と品質を両立させる新しい新奇性指標を提案する。 基礎となるLCMのモデル生成テキストは、インターネットの人間によるテキストよりも目新しいものではないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-13T00:48:58Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• The Creative Frontier of Generative AI: Managing the Novelty-Usefulness Tradeoff [0.4873362301533825]
  生成人工知能(AI)システムにおける新規性と有用性の最適バランスについて検討する。 どちらの側面も過度に強調すると、幻覚や暗記のような限界に繋がる。
  論文  参考訳（メタデータ） (2023-06-06T11:44:57Z)
• A Unified Evaluation Framework for Novelty Detection and Accommodation in NLP with an Instantiation in Authorship Attribution [25.52598351435189]
  本稿では,パイプライン化された新規性「検出」タスクと「調節」タスクにおいて,システムの性能を評価するマルチステージタスクである「NoveltyTask」を紹介する。 我々はAmazonのレビューコーパスを使用して、NovetyTaskのために大規模なデータセット(200人の著者/ラベルで250万インスタンスで構成されています)をコンパイルします。
  論文  参考訳（メタデータ） (2023-05-08T22:37:30Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。