論文の概要: On the data requirements of probing

• arxiv url: http://arxiv.org/abs/2202.12801v1
• Date: Fri, 25 Feb 2022 16:27:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-28 15:01:12.695276
• Title: On the data requirements of probing
• Title（参考訳）: 探索データの要求について
• Authors: Zining Zhu, Jixuan Wang, Bai Li, Frank Rudzicz
• Abstract要約: 本稿では,データセットの探索に必要なデータサンプル数を推定する新しい手法を提案する。 我々のフレームワークは、ニューラルネットワークNLPモデルの診断のために、探索データセットを体系的に構築するのに役立つ。
• 参考スコア（独自算出の注目度）: 20.965328323152608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large and powerful neural language models are developed, researchers have been increasingly interested in developing diagnostic tools to probe them. There are many papers with conclusions of the form "observation X is found in model Y", using their own datasets with varying sizes. Larger probing datasets bring more reliability, but are also expensive to collect. There is yet to be a quantitative method for estimating reasonable probing dataset sizes. We tackle this omission in the context of comparing two probing configurations: after we have collected a small dataset from a pilot study, how many additional data samples are sufficient to distinguish two different configurations? We present a novel method to estimate the required number of data samples in such experiments and, across several case studies, we verify that our estimations have sufficient statistical power. Our framework helps to systematically construct probing datasets to diagnose neural NLP models.
• Abstract（参考訳）: 大規模で強力なニューラルネットワークモデルが開発されるにつれて、研究者はそれらを探索する診断ツールの開発にますます関心を寄せている。 様々な大きさのデータセットを用いて「観測 X はモデル Y で見つかる」という形式の結論を持つ多くの論文がある。 より大きな探索データセットにより信頼性が高くなるが、収集するコストも高い。 妥当な探索データセットのサイズを推定するための定量的な方法はまだない。 パイロットスタディから小さなデータセットを収集した後、2つの異なる構成を区別するのに十分なデータサンプルがいくつあるか? このような実験で必要となるデータサンプル数を推定する新しい手法を提案し、いくつかのケーススタディにおいて、我々の推定が十分な統計的パワーを持っていることを検証した。 我々のフレームワークは、ニューラルネットワークNLPモデルの診断のために、探索データセットを体系的に構築するのに役立つ。

関連論文リスト

• Conditional Generative Models are Sufficient to Sample from Any Causal Effect Estimand [9.460857822923842]
  観測データからの因果推論は、信頼できる機械学習における多くの応用において重要な役割を果たす。 任意の因果グラフを与えられた任意の介入分布からサンプリングする方法を示す。 またテキストと画像変数を含むMIMIC-CXRデータセットから高次元干渉サンプルを生成する。
  論文  参考訳（メタデータ） (2024-02-12T05:48:31Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Calibration and generalizability of probabilistic models on low-data chemical datasets with DIONYSUS [0.0]
  我々は、小さな化学データセット上での確率論的機械学習モデルの校正と一般化可能性について広範な研究を行う。 私たちは、さまざまなタスク(バイナリ、回帰)とデータセットにおける予測と不確実性の品質を分析します。 我々は、新しい化学実験において一般的なシナリオである、小さな化学データセットをモデル化するためのモデルと特徴の選択に関する実践的な洞察を提供する。
  論文  参考訳（メタデータ） (2022-12-03T08:19:06Z)
• Robustness Analysis of Deep Learning Models for Population Synthesis [5.9106199000537645]
  複数のデータセットに対するロバスト性を評価するため, 深部生成モデルのブートストラップ信頼区間を示す。 これらのモデルは、2008年、2013年、2018年のモントリオール・オリジン・デスチネーション・サーベイの複数の旅行日記に実装されている。 その結果,CTGANの予測誤差は,複数のデータセットに対する堅牢性を示す信頼区間が狭かった。
  論文  参考訳（メタデータ） (2022-11-23T22:55:55Z)
• Ensemble Machine Learning Model Trained on a New Synthesized Dataset Generalizes Well for Stress Prediction Using Wearable Devices [3.006016887654771]
  本研究では,少数の被験者を含むデータセット上に構築されたモデルの一般化能力について検討した。 本研究では,新たな未知のデータに対する予測パワーを測定するために,勾配押し上げと人工ニューラルネットワークを組み合わせたアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T00:20:57Z)
• Zero-shot meta-learning for small-scale data from human subjects [10.320654885121346]
  我々は,サンプル外テストデータに対する限られたトレーニングデータを用いて,新しい予測タスクに迅速に適応するフレームワークを開発した。 本モデルでは, 介入による遅延処理効果を学習し, 設計上はマルチタスク予測を自然に処理できる。 我々のモデルは、より広い人口への小型人間研究の一般化を向上するために重要である。
  論文  参考訳（メタデータ） (2022-03-29T17:42:04Z)
• Combining Observational and Randomized Data for Estimating Heterogeneous Treatment Effects [82.20189909620899]
  不均一な治療効果を推定することは、多くの領域において重要な問題である。 現在、現存するほとんどの作品は観測データにのみ依存している。 本稿では、大量の観測データと少量のランダム化データを組み合わせることで、不均一な処理効果を推定する。
  論文  参考訳（メタデータ） (2022-02-25T18:59:54Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Statistical model-based evaluation of neural networks [74.10854783437351]
  ニューラルネットワーク(NN)の評価のための実験装置を開発する。 このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。 これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
  論文  参考訳（メタデータ） (2020-11-18T00:33:24Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。