論文の概要: R\&D evaluation methodology based on group-AHP with uncertainty
- arxiv url: http://arxiv.org/abs/2108.02595v2
- Date: Mon, 22 Nov 2021 16:31:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-19 07:25:36.558756
- Title: R\&D evaluation methodology based on group-AHP with uncertainty
- Title（参考訳）: 不確実性を有するグループAHPに基づくR&D評価手法
- Authors: Alberto Garinei, Emanuele Piccioni, Massimiliano Proietti, Andrea
Marini, Stefano Speziali, Marcello Marconi, Raffaella Di Sante, Sara
Casaccia, Paolo Castellini, Milena Martarelli, Nicola Paone, Gian Marco
Revel, Lorenzo Scalise, Marco Arnesano, Paolo Chiariotti, Roberto Montanini,
Antonino Quattrocchi, Sergio Silvestri, Giorgio Ficco, Emanuele Rizzuto,
Andrea Scorza, Matteo Lancini, Gianluca Rossi, Roberto Marsili, Emanuele
Zappa, Salvatore Sciuto, Gaetano Vacca, Laura Fabbiano
- Abstract要約: 本稿では,分析階層プロセス(AHP)に基づく研究開発(R&D)の性能評価手法を提案する。
R&Dのパフォーマンス評価に必要な指標のセットを抽出する。
すべての指標に関連する数値は、与えられたR&Dプロジェクトにスコアを割り当てるために使用される。
- 参考スコア（独自算出の注目度）: 0.17689918341582753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present an approach to evaluate Research \& Development
(R\&D) performance based on the Analytic Hierarchy Process (AHP) method.
Through a set of questionnaires submitted to a team of experts, we single out a
set of indicators needed for R\&D performance evaluation. The indicators,
together with the corresponding criteria, form the basic hierarchical structure
of the AHP method. The numerical values associated with all the indicators are
then used to assign a score to a given R\&D project. In order to aggregate
consistently the values taken on by the different indicators, we operate on
them so that they are mapped to dimensionless quantities lying in a unit
interval. This is achieved by employing the empirical Cumulative Density
Function (CDF) for each of the indicators. We give a thorough discussion on how
to assign a score to an R\&D project along with the corresponding uncertainty
due to possible inconsistencies of the decision process. A particular example
of R\&D performance is finally considered.
- Abstract（参考訳）: 本稿では,分析階層プロセス(ahp)法に基づく研究開発(r\&d)性能の評価手法を提案する。
専門家のチームに一連のアンケートを提出し、R&Dのパフォーマンス評価に必要な指標のセットを抽出した。
指標は対応する基準とともに、AHP法の基本階層構造を形成する。
すべての指標に関連する数値は、与えられたR&Dプロジェクトにスコアを割り当てるために使用される。
異なる指標によって得られる値を連続的に集計するために、我々はそれらを単位間隔で無次元の量にマッピングするように操作する。
これは各指標に対して経験的累積密度関数(CDF)を用いることで達成される。
我々は、r\&dプロジェクトにスコアを割り当てる方法について、決定過程の不一致の可能性から対応する不確実性と共に徹底的に議論する。
最終的にR&Dパフォーマンスの特定の例を考える。
関連論文リスト
- Dissecting Out-of-Distribution Detection and Open-Set Recognition: A Critical Analysis of Methods and Benchmarks [17.520137576423593]
我々は,コミュニティ内の2つの大きなサブフィールドの総合的なビュー – アウト・オブ・ディストリビューション(OOD)検出とオープンセット認識(OSR) – を提供することを目指している。
我々は,OOD検出における最先端手法とOSR設定との厳密な相互評価を行い,それらの手法の性能の強い相関関係を同定する。
我々は,OOD検出とOSRによって取り組まれている問題を解消する,より大規模なベンチマーク設定を提案する。
論文 参考訳（メタデータ） (2024-08-29T17:55:07Z) - Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification [120.37051160567277]
本稿では,Top-K Pairwise Ranking(TKPR)という新しい尺度を提案する。
一連の分析により、TKPRは既存のランキングベースの尺度と互換性があることが示されている。
一方,データ依存縮約法という新しい手法に基づいて,提案手法の急激な一般化を確立する。
論文 参考訳（メタデータ） (2024-07-09T09:36:37Z) - Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。
本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。
次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
論文 参考訳（メタデータ） (2024-05-02T13:48:37Z) - A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。
非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
論文 参考訳（メタデータ） (2024-01-26T14:21:45Z) - DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and
Improvement of Large Language Models [4.953092503184905]
この研究は、LLM(Large Language Models)生成したテキストの一貫性を評価し改善する自動化フレームワークであるDCRを提案する。
本稿では,DCEからの出力を解釈可能な数値スコアに変換する自動計量変換器(AMC)を提案する。
また,本手法は出力不整合の90%近くを著しく低減し,効果的な幻覚緩和の可能性を示唆している。
論文 参考訳（メタデータ） (2024-01-04T08:34:16Z) - A Framework for Auditing Multilevel Models using Explainability Methods [2.578242050187029]
回帰の技術的評価のための監査フレームワークを提案する。
焦点は3つの側面、モデル、差別、透明性と説明責任である。
SHAP や LIME などの一般的な説明可能性法は,これらのモデルを解釈する際には精度が低いことが示されている。
論文 参考訳（メタデータ） (2022-07-04T17:53:21Z) - Multiple-criteria Heuristic Rating Estimation [0.0]
2014年に提案されたヒューリスティックレーティング推定(HRE)手法は、この問題に答えを導こうとした。
我々は、分析階層プロセスの階層化フレームワークの一部としてHREをどのように使用できるかを分析する。
論文 参考訳（メタデータ） (2022-05-20T20:12:04Z) - Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in
Partially Observed Markov Decision Processes [65.91730154730905]
医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。
ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。
我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
論文 参考訳（メタデータ） (2021-10-28T17:46:14Z) - Towards Question-Answering as an Automatic Metric for Evaluating the
Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。
提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文 参考訳（メタデータ） (2020-10-01T15:33:09Z) - Uncertainty-aware Score Distribution Learning for Action Quality
Assessment [91.05846506274881]
行動品質評価(AQA)のための不確実性認識スコア分布学習(USDL)手法を提案する。
具体的には、異なる評価スコアの確率を記述したスコア分布に関連する事例として、アクションを考察する。
微粒なスコアラベルが利用できる状況下では、多パス不確実性を考慮したスコア分布学習法(MUSDL)を考案し、スコアの不整合成分を探索する。
論文 参考訳（メタデータ） (2020-06-13T15:41:29Z) - On the Ambiguity of Rank-Based Evaluation of Entity Alignment or Link
Prediction Methods [27.27230441498167]
本稿では,知識グラフから情報を得る方法として,リンク予測とエンティティアライメント(Entity Alignment)の2つのファミリについて,より詳しく検討する。
特に、既存のスコアはすべて、異なるデータセット間で結果を比較するのにほとんど役に立たないことを実証する。
これは結果の解釈において様々な問題を引き起こしており、誤解を招く結論を裏付ける可能性がある。
論文 参考訳（メタデータ） (2020-02-17T12:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。