論文の概要: Showing Your Work Doesn't Always Work

• arxiv url: http://arxiv.org/abs/2004.13705v1
• Date: Tue, 28 Apr 2020 17:59:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 22:17:21.913175
• Title: Showing Your Work Doesn't Always Work
• Title（参考訳）: 仕事を見せるのはいつもうまくいかない
• Authors: Raphael Tang, Jaejun Lee, Ji Xin, Xinyu Liu, Yaoliang Yu, Jimmy Lin
• Abstract要約: 『Show Your Work: Improved Reporting of Experimental Results』では、最高の学習モデルの有効性を報告している。 解析的にそれらの推定器は偏りがあり、エラーを起こしやすい仮定を用いていることを示す。 我々は、偏見のない代替案を導き、統計的シミュレーションから経験的な証拠で主張を裏付ける。
• 参考スコア（独自算出の注目度）: 73.63200097493576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In natural language processing, a recently popular line of work explores how to best report the experimental results of neural networks. One exemplar publication, titled "Show Your Work: Improved Reporting of Experimental Results," advocates for reporting the expected validation effectiveness of the best-tuned model, with respect to the computational budget. In the present work, we critically examine this paper. As far as statistical generalizability is concerned, we find unspoken pitfalls and caveats with this approach. We analytically show that their estimator is biased and uses error-prone assumptions. We find that the estimator favors negative errors and yields poor bootstrapped confidence intervals. We derive an unbiased alternative and bolster our claims with empirical evidence from statistical simulation. Our codebase is at http://github.com/castorini/meanmax.
• Abstract（参考訳）: 自然言語処理では、ニューラルネットワークの実験結果を最もよく報告する方法が最近人気になっている。 実験結果の報告を改善する"show your work: improved reporting of experimental results"と題されたある模範的な出版物は、計算予算に関して、ベストチューニングモデルの期待される検証の有効性を報告することを提唱している。 本稿では,本論文を批判的に検討する。 統計的一般化性に関しては、このアプローチには見当たらない落とし穴や注意点がある。 分析により,推定者は偏りがあり,誤りを想定していることが示された。 推定器は負の誤差を好んでおり、自己抑制された信頼区間が低い。 我々は偏見のない代替案を導き、統計的シミュレーションから経験的な証拠で主張を裏付ける。 私たちのコードベースはhttp://github.com/castorini/meanmaxにあります。

関連論文リスト

• Heavy-tailed Contamination is Easier than Adversarial Contamination [8.607294463464523]
  ハマー (Huber, 1960) にさかのぼる統計学と計算機科学のコミュニティにおける研究の成果は、統計学的および計算学的に効率的なアウトリア・ローバスト推定器に繋がった。 2つの特定の外れ値モデル、すなわち対向モデルと重尾モデルが注目されている。
  論文  参考訳（メタデータ） (2024-11-22T19:00:33Z)
• MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts [25.643876327918544]
  モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。 実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。 予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
  論文  参考訳（メタデータ） (2024-05-29T10:45:06Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Expected Validation Performance and Estimation of a Random Variable's Maximum [48.83713377993604]
  予測された検証性能に対する3つの統計的推定器を解析する。 偏りのない推定器は最も分散度が高く、最小分散度を持つ推定器は最大のバイアスを持つ。 2つの偏りのある推定器は、最も少ない誤った結論につながる。
  論文  参考訳（メタデータ） (2021-10-01T18:48:47Z)
• Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data [10.659348599372944]
  本稿では,モデル学習のための理論的および計算的枠組みと,有病率バイアスの存在下での予測について述べる。 原則的なトレーニング損失の代替として,要約曲線から操作点を選択することで,テスト時の手順を補完するものだ。 バックプロパゲーションを用いた(深い)学習の現在のパラダイムにシームレスに統合され、ベイズモデルと自然に結合する。
  論文  参考訳（メタデータ） (2021-07-31T14:36:33Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。