論文の概要: CrowDEA: Multi-view Idea Prioritization with Crowds
- arxiv url: http://arxiv.org/abs/2008.02354v2
- Date: Mon, 17 Aug 2020 14:22:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 00:28:55.935195
- Title: CrowDEA: Multi-view Idea Prioritization with Crowds
- Title(参考訳): CrowDEA: 群衆によるマルチビューの理想の優先順位付け
- Authors: Yukino Baba, Jiyi Li, Hisashi Kashima
- Abstract要約: 本稿では,少なくとも1つの潜伏評価基準の観点で最高のフロンティア・アイデア(フロンティア・アイデア)という,アイデアのサブセットを得るための分析手法を提案する。
提案手法は,複数の視点からアイデアを効果的に優先順位付けし,フロンティアのアイデアを検出する。
- 参考スコア(独自算出の注目度): 34.53340372721343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a set of ideas collected from crowds with regard to an open-ended
question, how can we organize and prioritize them in order to determine the
preferred ones based on preference comparisons by crowd evaluators? As there
are diverse latent criteria for the value of an idea, multiple ideas can be
considered as "the best". In addition, evaluators can have different preference
criteria, and their comparison results often disagree.
In this paper, we propose an analysis method for obtaining a subset of ideas,
which we call frontier ideas, that are the best in terms of at least one latent
evaluation criterion. We propose an approach, called CrowDEA, which estimates
the embeddings of the ideas in the multiple-criteria preference space, the best
viewpoint for each idea, and preference criterion for each evaluator, to obtain
a set of frontier ideas. Experimental results using real datasets containing
numerous ideas or designs demonstrate that the proposed approach can
effectively prioritize ideas from multiple viewpoints, thereby detecting
frontier ideas. The embeddings of ideas learned by the proposed approach
provide a visualization that facilitates observation of the frontier ideas. In
addition, the proposed approach prioritizes ideas from a wider variety of
viewpoints, whereas the baselines tend to use to the same viewpoints; it can
also handle various viewpoints and prioritize ideas in situations where only a
limited number of evaluators or labels are available.
- Abstract(参考訳): オープンエンドの質問に関して,集団から収集したアイデアの集合を考えると,集団評価者による選好比較に基づく選好事項を決定するために,どのように整理・優先順位付けできるのか。
アイデアの価値には様々な潜在的な基準があるため、複数のアイデアは「最良の」と見なすことができる。
さらに、評価者は異なる選好基準を持つことができ、それらの比較結果はしばしば一致しない。
本稿では,少なくとも1つの潜在評価基準の観点から,フロンティア概念(frontier ideas)と呼ばれるアイデアのサブセットを得るための分析手法を提案する。
提案手法はCrowDEA(CrowDEA)と呼ばれる手法で,複数基準の選好空間におけるアイデアの埋め込み,各アイデアに対する最良の視点,各評価者に対する選好基準を推定し,フロンティアのアイデアの集合を得る。
多数のアイデアやデザインを含む実際のデータセットを用いた実験結果から,提案手法は複数の視点からアイデアを効果的に優先順位付けし,フロンティアのアイデアを検出する。
提案手法で学んだアイデアの埋め込みは、フロンティア思想の観察を容易にする可視化を提供する。
さらに,提案手法は,多様な視点からアイデアを優先するが,ベースラインは同じ視点で使用する傾向があり,また,限られた数の評価者やラベルしか利用できない状況においても,さまざまな視点を処理し,アイデアを優先することができる。
関連論文リスト
- Evaluating Agents using Social Choice Theory [21.26784305333596]
我々は、投票理論のレンズを通して、多くの一般的な評価問題を見ることができると論じる。
各タスクは別個の投票者として解釈され、全体的な評価を得るためには、通常のランク付けやエージェントのペア比較しか必要としない。
これらの評価は解釈可能で柔軟性があり、現在クロスタスク評価に直面している多くの問題を回避している。
論文 参考訳(メタデータ) (2023-12-05T20:40:37Z) - KPEval: Towards Fine-Grained Semantic-Based Keyphrase Evaluation [78.18992019606533]
KPEvalは、参照合意、忠実性、多様性、有用性という4つの重要な側面からなる総合的な評価フレームワークである。
KPEvalを用いて、21のキーフレーズシステムを再評価し、確立されたモデル比較結果に盲点があることを発見する。
論文 参考訳(メタデータ) (2023-03-27T17:45:38Z) - Inferring Lexicographically-Ordered Rewards from Preferences [82.42854687952115]
本稿では,エージェントの観察された嗜好の多目的報酬に基づく表現を推定する手法を提案する。
我々は,異なる目的に対するエージェントの優先順位を語彙的入力としてモデル化することにより,エージェントがより高い優先順位を持つ目的に対して無関心である場合に限って,より低い優先順位を持つ目的が重要となるようにした。
論文 参考訳(メタデータ) (2022-02-21T12:01:41Z) - Measuring "Why" in Recommender Systems: a Comprehensive Survey on the
Evaluation of Explainable Recommendation [87.82664566721917]
この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
論文 参考訳(メタデータ) (2022-02-14T02:58:55Z) - CLEVA-Compass: A Continual Learning EValuation Assessment Compass to
Promote Research Transparency and Comparability [15.342039156426843]
私たちは、Desiderataの正確な定式化の目標は、様々なアプリケーションが常に異なるシナリオを保証できるため、不適切なものであると論じます。
CLEVA-コンパスは、最近のレプリケーショントレンドの精神の中でコンパクトな仕様の促進に加えて、個々のシステムの優先順位を理解するための直感的なチャートを提供する。
論文 参考訳(メタデータ) (2021-10-07T10:53:26Z) - Evolutionary Computation-Assisted Brainwriting for Large-Scale Online
Ideation [0.0]
我々は大規模なオンライン思考のための進化支援脳書記法を考案した。
本手法では,参加者が提案するアイデアだけでなく,他の参加者が提案したアイデアも評価する。
評価結果は、参加者が露出できる良いアイデアを特定するために、進化計算で使用される。
論文 参考訳(メタデータ) (2021-10-07T06:33:11Z) - Forecasting: theory and practice [65.71277206849244]
本稿は、理論と予測の実践について、非体系的なレビューを提供する。
我々は、幅広い理論的、最先端のモデル、方法、原則、アプローチの概要を提供する。
そして、そのような理論概念が様々な実生活の文脈でどのように適用されるかを示す。
論文 参考訳(メタデータ) (2020-12-04T16:56:44Z) - A model to support collective reasoning: Formalization, analysis and
computational assessment [1.126958266688732]
そこで本研究では,人間の議論を表現する新しいモデルと,それらから集合的な結論を得る方法を提案する。
このモデルは、ユーザが議論に新しい情報を導入することによって、既存のアプローチの欠点を克服する。
合意の欠如があっても、集約された意見が一貫性を持つことが示される。
論文 参考訳(メタデータ) (2020-07-14T06:55:32Z) - Directional Multivariate Ranking [39.81227580524465]
本稿では,多面的な項目の総合的なランク付けを可能にする指向性多面的ランク付け基準を提案する。
我々の重要な洞察は、2つの多アスペクト選好ベクトル間の差ベクトルの方向が、比較のペアの順序を明らかにすることである。
論文 参考訳(メタデータ) (2020-06-09T22:43:03Z) - SetRank: A Setwise Bayesian Approach for Collaborative Ranking from
Implicit Feedback [50.13745601531148]
提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。
具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。
また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
論文 参考訳(メタデータ) (2020-02-23T06:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。