論文の概要: A performance characteristic curve for model evaluation: the application
in information diffusion prediction
- arxiv url: http://arxiv.org/abs/2309.09537v1
- Date: Mon, 18 Sep 2023 07:32:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 14:42:32.414240
- Title: A performance characteristic curve for model evaluation: the application
in information diffusion prediction
- Title（参考訳）: モデル評価のための性能特性曲線 -情報拡散予測への応用-
- Authors: Wenjin Xie, Xiaomeng Wang, Rados{\l}aw Michalsk, Tao Jia
- Abstract要約: 拡散データ中のランダム性を定量化するために,情報エントロピーに基づくメトリクスを提案し,モデルのランダム性と予測精度の間のスケーリングパターンを同定する。
異なるシーケンス長、システムサイズ、ランダム性によるパターンのデータポイントは、すべて単一の曲線に崩壊し、正しい予測を行うモデル固有の能力を取得する。
曲線の妥当性は、同じ家系の3つの予測モデルによって検証され、既存の研究と一致して結論に達する。
- 参考スコア（独自算出の注目度）: 3.1337872355726075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The information diffusion prediction on social networks aims to predict
future recipients of a message, with practical applications in marketing and
social media. While different prediction models all claim to perform well,
general frameworks for performance evaluation remain limited. Here, we aim to
identify a performance characteristic curve for a model, which captures its
performance on tasks of different complexity. We propose a metric based on
information entropy to quantify the randomness in diffusion data, then identify
a scaling pattern between the randomness and the prediction accuracy of the
model. Data points in the patterns by different sequence lengths, system sizes,
and randomness all collapse into a single curve, capturing a model's inherent
capability of making correct predictions against increased uncertainty. Given
that this curve has such important properties that it can be used to evaluate
the model, we define it as the performance characteristic curve of the model.
The validity of the curve is tested by three prediction models in the same
family, reaching conclusions in line with existing studies. Also, the curve is
successfully applied to evaluate two distinct models from the literature. Our
work reveals a pattern underlying the data randomness and prediction accuracy.
The performance characteristic curve provides a new way to systematically
evaluate models' performance, and sheds light on future studies on other
frameworks for model evaluation.
- Abstract（参考訳）: ソーシャルネットワーク上での情報拡散予測は、今後のメッセージ受信者を予測することを目的としており、マーケティングやソーシャルメディアに実用化されている。
様々な予測モデルがよく機能すると主張しているが、パフォーマンス評価のための一般的なフレームワークは依然として限られている。
ここでは,モデルの性能特性曲線を同定し,異なる複雑性のタスクにおける性能をキャプチャする。
拡散データ中のランダム性を定量化するために,情報エントロピーに基づくメトリクスを提案し,モデルのランダム性と予測精度の間のスケーリングパターンを同定する。
異なるシーケンス長、システムサイズ、ランダム性によるパターンのデータポイントは、すべて単一の曲線に崩壊し、不確実性の増加に対して正しい予測を行うモデル固有の能力を取得する。
この曲線がモデルの評価に使用できるような重要な特性を持っていることを考慮し、モデルの性能特性曲線と定義する。
曲線の妥当性は、同じ家系の3つの予測モデルによって検証され、既存の研究と一致する結論に達する。
また、この曲線は文献から2つの異なるモデルを評価するためにうまく適用される。
我々の研究は、データのランダム性と予測精度の基礎となるパターンを明らかにする。
性能特性曲線は、モデルの性能を体系的に評価する新しい方法を提供し、モデル評価のための他のフレームワークに関する将来の研究に光を当てる。
関連論文リスト
- Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
拡散モデルは、生成的モデリングに大きな進歩をもたらした。
しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。
本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Deep Non-Parametric Time Series Forecaster [19.800783133682955]
提案手法は, 予測分布のパラメトリック形式を仮定せず, 学習可能な戦略に従って実験分布からサンプリングして予測を生成する。
提案手法のグローバルバージョンを開発し,複数の時系列にまたがる情報を活用することで,サンプリング戦略を自動的に学習する。
論文 参考訳（メタデータ） (2023-12-22T12:46:30Z) - A prediction and behavioural analysis of machine learning methods for
modelling travel mode choice [0.26249027950824505]
我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。
その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。
MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
論文 参考訳（メタデータ） (2023-01-11T11:10:32Z) - Stability of clinical prediction models developed using statistical or
machine learning methods [0.5482532589225552]
臨床予測モデルは、複数の予測器の値に基づいて、個人の特定の健康結果のリスクを推定する。
多くのモデルは、モデルとその予測(推定リスク)の不安定性につながる小さなデータセットを使用して開発されている。
モデルの推定リスクの不安定性は、しばしばかなりのものであり、新しいデータにおける予測の誤校正として現れます。
論文 参考訳（メタデータ） (2022-11-02T11:55:28Z) - Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
論文 参考訳（メタデータ） (2022-04-17T15:55:18Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳（メタデータ） (2022-02-08T02:59:12Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2021-01-02T02:11:37Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z) - A Causal Lens for Peeking into Black Box Predictive Models: Predictive
Model Interpretation via Causal Attribution [3.3758186776249928]
予測モデルがブラックボックスであるような設定でこの問題に対処することを目指している。
我々は、ブラックボックス予測モデルをモデル出力に対する各モデル入力の因果効果を推定する問題と比較する。
モデル入力に対するモデル出力に対する責任の因果関係が、予測モデルを解釈し、その予測を説明するためにどのように使用できるかを示す。
論文 参考訳（メタデータ） (2020-08-01T23:20:57Z) - A comprehensive study on the prediction reliability of graph neural
networks for virtual screening [0.0]
本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。
その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
論文 参考訳（メタデータ） (2020-03-17T10:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。