論文の概要: Beware of Validation by Eye: Visual Validation of Linear Trends in Scatterplots
- arxiv url: http://arxiv.org/abs/2407.11625v2
- Date: Fri, 6 Sep 2024 07:56:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 18:20:31.088746
- Title: Beware of Validation by Eye: Visual Validation of Linear Trends in Scatterplots
- Title（参考訳）: 目による検証の注意:散乱体における線形トレンドの視覚的検証
- Authors: Daniel Braun, Remco Chang, Michael Gleicher, Tatiana von Landesberger,
- Abstract要約: 斜面の視覚的評価の精度は斜面の視覚的検証よりも高い。
どちらの場合も「急すぎる」斜面に偏りがあることがわかりました。
第2の実験では,レグレッション・ビジュアライゼーションのための共通設計を導入することで,視覚的妥当性が向上するかどうかを検討した。
- 参考スコア（独自算出の注目度）: 10.692984164096574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual validation of regression models in scatterplots is a common practice for assessing model quality, yet its efficacy remains unquantified. We conducted two empirical experiments to investigate individuals' ability to visually validate linear regression models (linear trends) and to examine the impact of common visualization designs on validation quality. The first experiment showed that the level of accuracy for visual estimation of slope (i.e., fitting a line to data) is higher than for visual validation of slope (i.e., accepting a shown line). Notably, we found bias toward slopes that are "too steep" in both cases. This lead to novel insights that participants naturally assessed regression with orthogonal distances between the points and the line (i.e., ODR regression) rather than the common vertical distances (OLS regression). In the second experiment, we investigated whether incorporating common designs for regression visualization (error lines, bounding boxes, and confidence intervals) would improve visual validation. Even though error lines reduced validation bias, results failed to show the desired improvements in accuracy for any design. Overall, our findings suggest caution in using visual model validation for linear trends in scatterplots.
- Abstract（参考訳）: スパータプロットにおける回帰モデルの視覚的検証は、モデル品質を評価する一般的なプラクティスであるが、その有効性はいまだに不明である。
線形回帰モデル(線形傾向)を視覚的に検証する個人の能力を調べるための実証実験を2回行った。
最初の実験では、傾きの視覚的評価(線をデータに合わせる)の精度は、傾きの視覚的検証(線を受理する)よりも高いことがわかった。
特に、両方のケースで"急すぎる"斜面へのバイアスが見つかりました。
これは、参加者が共通の垂直距離(OLS回帰)ではなく、点と線の間の直交距離(すなわちODR回帰)で回帰を自然に評価する、という新たな洞察につながった。
第2の実験では,レグレッション・ビジュアライゼーション(エラー線,バウンディングボックス,信頼区間)に共通設計を導入することで,視覚的検証が向上するかどうかを検討した。
エラーラインはバリデーションバイアスを減らしたが、結果はどの設計にも望ましい精度の向上を示さなかった。
以上の結果から,スキャッタプロットの線形傾向に対する視覚モデル検証の有用性が示唆された。
関連論文リスト
- Automated Assessment of Residual Plots with Computer Vision Models [5.835976576278297]
浮動小数点残差は線形モデルの仮定から逸脱を診断するための推奨手順である。
残余プロットにおける構造の存在は、ビジュアル推論を行うためにラインアッププロトコルを用いて検証することができる。
本研究は,残余プロットの評価を自動化するコンピュータビジョンモデルを提供することで,その解を提示する。
論文 参考訳（メタデータ） (2024-11-01T19:51:44Z) - Failures and Successes of Cross-Validation for Early-Stopped Gradient
Descent [8.0225129190882]
我々は、早期降下勾配(GD)に適用された一般クロスバリデーション(GCV)とアウトアウトクロスバリデーション(LOOCV)の統計的性質を解析する。
等方性を有する線形モデルであっても, GCV は早期停止型GD の予測リスクの予測器として不整合であることが証明された。
我々の理論はデータ分布に関する軽微な仮定しか必要とせず、根底にある回帰関数を線形とする必要はない。
論文 参考訳（メタデータ） (2024-02-26T18:07:27Z) - A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳（メタデータ） (2023-10-29T12:05:39Z) - Graph Out-of-Distribution Generalization with Controllable Data
Augmentation [51.17476258673232]
グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。
トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。
仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
論文 参考訳（メタデータ） (2023-08-16T13:10:27Z) - Visual Validation versus Visual Estimation: A Study on the Average Value
in Scatterplots [11.15435671066952]
個人がデータに適合する統計モデルを視覚的に検証する能力について検討する。
人々がどのようにモデルを視覚的に検証できるか、その性能が視覚的および計算的推定とどのように比較できるかは分かっていない。
論文 参考訳（メタデータ） (2023-07-18T15:13:15Z) - Extracting or Guessing? Improving Faithfulness of Event Temporal
Relation Extraction [87.04153383938969]
本研究では,TempRel抽出モデルの忠実度を2つの観点から改善する。
第1の視点は、文脈記述に基づいて真に抽出することである。
第2の視点は、適切な不確実性評価を提供することである。
論文 参考訳（メタデータ） (2022-10-10T19:53:13Z) - Certifying Data-Bias Robustness in Linear Regression [12.00314910031517]
本稿では, 線形回帰モデルが学習データセットのラベルバイアスに対して, ポイントワイズで損なわれているかどうかを検証する手法を提案する。
この問題を個々のテストポイントに対して正確に解く方法を示し、近似的だがよりスケーラブルな方法を提供する。
また、いくつかのデータセット上の特定のバイアス仮定に対して、高いレベルの非腐食性など、バイアス-腐食性のギャップを掘り下げる。
論文 参考訳（メタデータ） (2022-06-07T20:47:07Z) - Recovering the Unbiased Scene Graphs from the Biased Ones [99.24441932582195]
ラベルが不足しているため、シーングラフ生成(SGG)は「肯定的・未ラベルデータからの学習」(PU学習)問題とみなすことができる。
本稿では,複数のトレーニングイテレーションにまたがって,トレーニング時のデータ拡張と平均値を活用するために,動的ラベル周波数推定(DLFE)を提案する。
拡張実験の結果,DLFEは従来の推定法よりもラベル周波数の推定に有効であり,DLFEは長い尾を著しく緩和することがわかった。
論文 参考訳（メタデータ） (2021-07-05T16:10:41Z) - Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。
そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文 参考訳（メタデータ） (2021-06-03T09:34:17Z) - Identifying Statistical Bias in Dataset Replication [102.92137353938388]
モデルが(11-14%) の精度低下を示すImageNetデータセットの再現について検討した。
同定された統計バイアスを補正した後、推定3.6%のpm 1.5%の当初の11.7%のpm 1.0%の精度低下しか記録されていない。
論文 参考訳（メタデータ） (2020-05-19T17:48:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。