論文の概要: MuseRAG: Idea Originality Scoring At Scale

• arxiv url: http://arxiv.org/abs/2505.16232v1
• Date: Thu, 22 May 2025 05:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.048348
• Title: MuseRAG: Idea Originality Scoring At Scale
• Title（参考訳）: MuseRAG: アイデアのオリジナルさを大規模に表現する
• Authors: Ali Sarosh Bangash, Krish Veera, Ishfat Abrar Islam, Raiyan Abdul Baten,
• Abstract要約: 周波数に基づく独創性スコアリングのための完全自動化された心理測定検証パイプラインを提案する。 MuseRAGは人間のアノテータとアイデアのクラスタリング構造と解像度を一致させる。 我々の研究は、創造性研究を支援するために、意図に敏感で人間と協調した独創性を大規模にスコアリングすることを可能にする。
• 参考スコア（独自算出の注目度）: 0.1874930567916036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An objective, face-valid way to assess the originality of creative ideas is to measure how rare each idea is within a population -- an approach long used in creativity research but difficult to automate at scale. Tabulating response frequencies via manual bucketing of idea rephrasings is labor-intensive, error-prone, and brittle under large corpora. We introduce a fully automated, psychometrically validated pipeline for frequency-based originality scoring. Our method, MuseRAG, combines large language models (LLMs) with an externally orchestrated retrieval-augmented generation (RAG) framework. Given a new idea, the system retrieves semantically similar prior idea buckets and zero-shot prompts the LLM to judge whether the new idea belongs to an existing bucket or forms a new one. The resulting buckets enable computation of frequency-based originality metrics. Across five datasets (N=1143, n_ideas=16294), MuseRAG matches human annotators in idea clustering structure and resolution (AMI = 0.59) and in participant-level scoring (r = 0.89) -- while exhibiting strong convergent and external validity. Our work enables intent-sensitive, human-aligned originality scoring at scale to aid creativity research.
• Abstract（参考訳）: 創造的アイデアの独創性を評価する客観的かつ有能な方法は、各アイデアが集団内でどれだけ稀であるかを測定することである。 アイデア言い換えの手動バケットによる応答周波数の集計は、大きなコーパスの下で、労働集約的で、エラーを起こし、不安定である。 周波数に基づく独創性スコアリングのための完全自動化された心理測定検証パイプラインを提案する。 提案手法は,大規模言語モデル (LLM) と外部的に編成された検索拡張世代 (RAG) フレームワークを組み合わせたものである。 新しいアイデアが与えられたら、システムは意味的に類似したアイデアバケットを検索し、ゼロショットはLLMに、新しいアイデアが既存のバケットに属しているか、あるいは新しいものを形成するかを判断するよう促す。 結果のバケットは、周波数ベースの独創性メトリクスの計算を可能にする。 5つのデータセット (N=1143, n_ideas=16294) にまたがって、MuseRAGは、アイデアクラスタリング構造と解像度 (AMI = 0.59) と参加者レベルのスコアリング (r = 0.89) において、人間のアノテータと一致し、強い収束性と外部の妥当性を示す。 我々の研究は、創造性研究を支援するために、意図に敏感で人間と協調した独創性を大規模にスコアリングすることを可能にする。

関連論文リスト

• Decentralized Arena: Towards Democratic and Scalable Automatic Evaluation of Language Models [66.51871176061195]
  Decentralized Arena (dearena) は,すべての大規模言語モデルからの集合的インテリジェンスを活用して相互評価を行う,完全に自動化されたフレームワークである。 人の判断と最大で97%の相関を保ち コストを大幅に削減します
  論文  参考訳（メタデータ） (2025-05-19T07:34:25Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [65.31658824274894]
  Best-of-N選択は、大規模言語モデルの推論性能を改善するための重要なテクニックである。 本稿では,外部報酬モデルを必要とすることなく,応答品質を推定する新規かつ効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts [39.47316836096974]
  我々は、類似性は必ずしもパナセアではなく、類似性に完全に依存することは、時として検索拡張生成の性能を低下させるであろうと論じている。 我々はMulti layEred ThoughtsEnhanced Retrieval Augmented GenerationフレームワークであるMetRagを提案する。
  論文  参考訳（メタデータ） (2024-05-30T09:50:38Z)
• Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models [84.8919069953397]
  Self-Taught Recognizer (STAR) は、音声認識システムのための教師なし適応フレームワークである。 その結果,STARは14のドメインで平均13.5%の単語誤り率の相対的な減少を実現していることがわかった。 STARは1時間以内のラベル付きデータを必要とする高いデータ効率を示す。
  論文  参考訳（メタデータ） (2024-05-23T04:27:11Z)
• Self-Supervised Learning for Covariance Estimation [3.04585143845864]
  推論時に局所的に適用されるニューラルネットワークをグローバルに学習することを提案する。 アーキテクチャは、一般的な注目メカニズムに基づいている。 基礎モデルとして事前訓練し、レーダーやハイパースペクトル画像の適応目標検出など、様々な下流タスクに再利用することができる。
  論文  参考訳（メタデータ） (2024-03-13T16:16:20Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions [62.510951695174604]
  The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。 提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。 我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
  論文  参考訳（メタデータ） (2022-10-22T18:39:33Z)
• Contrastive Learning for Cross-Domain Open World Recognition [17.660958043781154]
  進化する能力は、知識が製造者によって注入されるものに限定されない貴重な自律エージェントにとって基本的なものである。 新しいクラスをインクリメンタルに含めるのに適した機能空間を学習し、様々な視覚領域にまたがる知識を捉えることができることを示す。 本手法は,学習エピソードごとの効果的な停止基準を付与し,新たな自己ペースしきい値設定戦略を活用する。
  論文  参考訳（メタデータ） (2022-03-17T11:23:53Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Disentangled Sequence Clustering for Human Intention Inference [40.46123013107865]
  Disentangled Sequence Clustering Variational Autoencoder (DiSCVAE) Disentangled Sequence Clustering Variational Autoencoder (DiSCVAE)
  論文  参考訳（メタデータ） (2021-01-23T13:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。