論文の概要: CrowDEA: Multi-view Idea Prioritization with Crowds

• arxiv url: http://arxiv.org/abs/2008.02354v2
• Date: Mon, 17 Aug 2020 14:22:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 00:28:55.935195
• Title: CrowDEA: Multi-view Idea Prioritization with Crowds
• Title（参考訳）: CrowDEA: 群衆によるマルチビューの理想の優先順位付け
• Authors: Yukino Baba, Jiyi Li, Hisashi Kashima
• Abstract要約: 本稿では,少なくとも1つの潜伏評価基準の観点で最高のフロンティア・アイデア(フロンティア・アイデア)という,アイデアのサブセットを得るための分析手法を提案する。 提案手法は,複数の視点からアイデアを効果的に優先順位付けし,フロンティアのアイデアを検出する。
• 参考スコア（独自算出の注目度）: 34.53340372721343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a set of ideas collected from crowds with regard to an open-ended question, how can we organize and prioritize them in order to determine the preferred ones based on preference comparisons by crowd evaluators? As there are diverse latent criteria for the value of an idea, multiple ideas can be considered as "the best". In addition, evaluators can have different preference criteria, and their comparison results often disagree. In this paper, we propose an analysis method for obtaining a subset of ideas, which we call frontier ideas, that are the best in terms of at least one latent evaluation criterion. We propose an approach, called CrowDEA, which estimates the embeddings of the ideas in the multiple-criteria preference space, the best viewpoint for each idea, and preference criterion for each evaluator, to obtain a set of frontier ideas. Experimental results using real datasets containing numerous ideas or designs demonstrate that the proposed approach can effectively prioritize ideas from multiple viewpoints, thereby detecting frontier ideas. The embeddings of ideas learned by the proposed approach provide a visualization that facilitates observation of the frontier ideas. In addition, the proposed approach prioritizes ideas from a wider variety of viewpoints, whereas the baselines tend to use to the same viewpoints; it can also handle various viewpoints and prioritize ideas in situations where only a limited number of evaluators or labels are available.
• Abstract（参考訳）: オープンエンドの質問に関して,集団から収集したアイデアの集合を考えると,集団評価者による選好比較に基づく選好事項を決定するために,どのように整理・優先順位付けできるのか。 アイデアの価値には様々な潜在的な基準があるため、複数のアイデアは「最良の」と見なすことができる。 さらに、評価者は異なる選好基準を持つことができ、それらの比較結果はしばしば一致しない。 本稿では,少なくとも1つの潜在評価基準の観点から,フロンティア概念(frontier ideas)と呼ばれるアイデアのサブセットを得るための分析手法を提案する。 提案手法はCrowDEA(CrowDEA)と呼ばれる手法で,複数基準の選好空間におけるアイデアの埋め込み,各アイデアに対する最良の視点,各評価者に対する選好基準を推定し,フロンティアのアイデアの集合を得る。 多数のアイデアやデザインを含む実際のデータセットを用いた実験結果から,提案手法は複数の視点からアイデアを効果的に優先順位付けし,フロンティアのアイデアを検出する。 提案手法で学んだアイデアの埋め込みは、フロンティア思想の観察を容易にする可視化を提供する。 さらに,提案手法は,多様な視点からアイデアを優先するが,ベースラインは同じ視点で使用する傾向があり,また,限られた数の評価者やラベルしか利用できない状況においても,さまざまな視点を処理し,アイデアを優先することができる。

関連論文リスト

• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Learning Recommender Systems with Soft Target: A Decoupled Perspective [49.83787742587449]
  そこで本研究では,ソフトラベルを活用することで,目的を2つの側面として捉えるために,分離されたソフトラベル最適化フレームワークを提案する。 本稿では,ラベル伝搬アルゴリズムをモデル化したソフトラベル生成アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-09T04:20:15Z)
• A Novel Mathematical Framework for Objective Characterization of Ideas through Vector Embeddings in LLM [0.0]
  本研究では,CAIシステムや人間によって生み出されるアイデアの多元性を客観的に評価するための,自動解析のための包括的数学的枠組みを提案する。 UMAP,DBSCAN,PCAなどのツールを用いて,アイデアを高次元ベクトルに変換し,それらの多様性を定量的に測定することにより,提案手法は最も有望なアイデアを選択する信頼性と客観的な方法を提供する。
  論文  参考訳（メタデータ） (2024-09-11T19:10:29Z)
• Good Idea or Not, Representation of LLM Could Tell [86.36317971482755]
  我々は、大規模言語モデルの知識を活用し、科学的アイデアのメリットを評価することを目的としたアイデアアセスメントに焦点をあてる。 我々は、このタスクに対する様々なアプローチのパフォーマンスを訓練し評価するために、細心の注意を払って設計された、フルテキストを持つ約4万の原稿からベンチマークデータセットをリリースする。 その結果, 大規模言語モデルの表現は, 生成出力よりもアイデアの価値を定量化する可能性が高いことが示唆された。
  論文  参考訳（メタデータ） (2024-09-07T02:07:22Z)
• KPEval: Towards Fine-Grained Semantic-Based Keyphrase Evaluation [69.57018875757622]
  KPEvalは、参照合意、忠実性、多様性、有用性という4つの重要な側面からなる総合的な評価フレームワークである。 KPEvalを用いて、23のキーフレーズシステムを再評価し、確立されたモデル比較結果に盲点があることを発見した。
  論文  参考訳（メタデータ） (2023-03-27T17:45:38Z)
• CLEVA-Compass: A Continual Learning EValuation Assessment Compass to Promote Research Transparency and Comparability [15.342039156426843]
  私たちは、Desiderataの正確な定式化の目標は、様々なアプリケーションが常に異なるシナリオを保証できるため、不適切なものであると論じます。 CLEVA-コンパスは、最近のレプリケーショントレンドの精神の中でコンパクトな仕様の促進に加えて、個々のシステムの優先順位を理解するための直感的なチャートを提供する。
  論文  参考訳（メタデータ） (2021-10-07T10:53:26Z)
• Forecasting: theory and practice [65.71277206849244]
  本稿は、理論と予測の実践について、非体系的なレビューを提供する。 我々は、幅広い理論的、最先端のモデル、方法、原則、アプローチの概要を提供する。 そして、そのような理論概念が様々な実生活の文脈でどのように適用されるかを示す。
  論文  参考訳（メタデータ） (2020-12-04T16:56:44Z)
• A model to support collective reasoning: Formalization, analysis and computational assessment [1.126958266688732]
  そこで本研究では,人間の議論を表現する新しいモデルと,それらから集合的な結論を得る方法を提案する。 このモデルは、ユーザが議論に新しい情報を導入することによって、既存のアプローチの欠点を克服する。 合意の欠如があっても、集約された意見が一貫性を持つことが示される。
  論文  参考訳（メタデータ） (2020-07-14T06:55:32Z)
• Directional Multivariate Ranking [39.81227580524465]
  本稿では,多面的な項目の総合的なランク付けを可能にする指向性多面的ランク付け基準を提案する。 我々の重要な洞察は、2つの多アスペクト選好ベクトル間の差ベクトルの方向が、比較のペアの順序を明らかにすることである。
  論文  参考訳（メタデータ） (2020-06-09T22:43:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。