論文の概要: Design of reliable technology valuation model with calibrated machine learning of patent indicators
- arxiv url: http://arxiv.org/abs/2406.05446v1
- Date: Sat, 8 Jun 2024 11:52:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 19:35:37.972569
- Title: Design of reliable technology valuation model with calibrated machine learning of patent indicators
- Title(参考訳): 特許指標の校正機械学習を用いた信頼性技術評価モデルの設計
- Authors: Seunghyun Lee, Janghyeok Yoon, Jaewoong Choi,
- Abstract要約: 校正MLモデルを用いた信頼性の高い技術評価のための分析フレームワークを提案する。
各種技術特性を表す定量的な特許指標を入力データとして抽出する。
- 参考スコア(独自算出の注目度): 14.31250748501038
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning (ML) has revolutionized the digital transformation of technology valuation by predicting the value of patents with high accuracy. However, the lack of validation regarding the reliability of these models hinders experts from fully trusting the confidence of model predictions. To address this issue, we propose an analytical framework for reliable technology valuation using calibrated ML models, which provide robust confidence levels in model predictions. We extract quantitative patent indicators that represent various technology characteristics as input data, using the patent maintenance period as a proxy for technology values. Multiple ML models are developed to capture the nonlinear relationship between patent indicators and technology value. The reliability and accuracy of these models are evaluated, presenting a Pareto-front map where the expected calibration error, Matthews correlation coefficient and F1-scores are compared. After identifying the best-performing model, we apply SHapley Additive exPlanation (SHAP) analysis to pinpoint the most significant input features by confidence bin. Through a case study, we confirmed that the proposed approach offers a practical guideline for developing reliable and accurate ML-based technology valuation models, with significant implications for both academia and industry.
- Abstract(参考訳): 機械学習(ML)は、特許の価値を高い精度で予測することで、技術評価のデジタルトランスフォーメーションに革命をもたらした。
しかし、これらのモデルの信頼性に関する検証の欠如は、モデル予測の信頼性を完全に信頼することを妨げる。
この問題に対処するため,我々は,モデル予測において堅牢な信頼性レベルを提供する校正MLモデルを用いて,信頼性の高い技術評価のための分析フレームワークを提案する。
我々は,特許維持期間を技術価値のプロキシとして利用して,様々な技術特性を入力データとして表現する定量的な特許指標を抽出する。
特許指標と技術価値の非線形関係を捉えるために,複数のMLモデルを開発した。
これらのモデルの信頼性と精度を評価し、予測キャリブレーション誤差、マシューズ相関係数、F1スコアを比較するパレートフロントマップを示す。
最高の性能モデルを特定した後、信頼ビンによる最も重要な入力特徴の特定にSHAP分析を適用した。
ケーススタディを通じて,提案手法が,学術と産業の両方に重要な意味を持つ信頼性と精度の高いMLベースの技術評価モデルを開発するための実践的ガイドラインを提供することを確認した。
関連論文リスト
- Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2024-02-21T16:15:20Z) - Trust the Process: Zero-Knowledge Machine Learning to Enhance Trust in
Generative AI Interactions [1.3688201404977818]
特にZKP(Zero-Knowledge Proofs)を使用して、パフォーマンスの公正性と正確性に関する懸念に対処する。
ZKML(Zero-Knowledge Machine Learning)として知られる機械学習モデルにZKPを適用することで、AI生成コンテンツの独立した検証が可能になる。
モデルプライバシを保ちながら出力精度と品質を検証するために,トランスフォーマーのための実用的なZKML実装であるsnarkGPTを導入する。
論文 参考訳(メタデータ) (2024-02-09T14:00:16Z) - Churn Prediction via Multimodal Fusion Learning:Integrating Customer
Financial Literacy, Voice, and Behavioral Data [14.948017876322597]
本稿では,金融サービスプロバイダの顧客リスクレベルを特定するためのマルチモーダル融合学習モデルを提案する。
弊社のアプローチは、顧客感情の財務リテラシー(FL)レベルと、財務行動データを統合している。
我々の新しいアプローチは、チャーン予測の顕著な改善を示し、テスト精度91.2%、平均精度66、マクロ平均F1スコア54を達成した。
論文 参考訳(メタデータ) (2023-12-03T06:28:55Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Dynamic Model Agnostic Reliability Evaluation of Machine-Learning
Methods Integrated in Instrumentation & Control Systems [1.8978726202765634]
データ駆動型ニューラルネットワークベースの機械学習アルゴリズムの信頼性は十分に評価されていない。
National Institute for Standards and Technologyの最近のレポートでは、MLにおける信頼性は採用にとって重要な障壁となっている。
トレーニングデータセットにアウト・オブ・ディストリビューション検出を組み込むことにより、ML予測の相対的信頼性を評価するためのリアルタイムモデル非依存手法を実証する。
論文 参考訳(メタデータ) (2023-08-08T18:25:42Z) - Evaluating Explainability in Machine Learning Predictions through Explainer-Agnostic Metrics [0.0]
我々は,モデル予測が説明できる範囲を定量化するために,6つの異なるモデルに依存しないメトリクスを開発した。
これらのメトリクスは、局所的な重要性、グローバルな重要性、代理予測など、モデル説明可能性のさまざまな側面を測定する。
分類と回帰タスクにおけるこれらのメトリクスの実用性を実証し、これらのメトリクスを公開のために既存のPythonパッケージに統合する。
論文 参考訳(メタデータ) (2023-02-23T15:28:36Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z) - Providing reliability in Recommender Systems through Bernoulli Matrix
Factorization [63.732639864601914]
本稿では,予測値と信頼性値の両方を提供するためにBernoulli Matrix Factorization (BeMF)を提案する。
BeMFはメモリベースのフィルタリングではなく、モデルベースの協調フィルタリングに作用する。
予測の信頼性が高ければ高いほど、それが間違っているという責任は少なくなる。
論文 参考訳(メタデータ) (2020-06-05T14:24:27Z) - Introduction to Rare-Event Predictive Modeling for Inferential
Statisticians -- A Hands-On Application in the Prediction of Breakthrough
Patents [0.0]
本稿では,予測性能の最適化を目的とした定量的分析のための機械学習(ML)手法を提案する。
両フィールド間の潜在的な相乗効果について考察する。
我々は,コンピュータサイエンスの用語のデミスティフィケーションを目指して,定量的な社会科学の聴衆に手持ちの予測モデルの導入を行っている。
論文 参考訳(メタデータ) (2020-03-30T13:06:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。