論文の概要: SOAK: Same/Other/All K-fold cross-validation for estimating similarity of patterns in data subsets
- arxiv url: http://arxiv.org/abs/2410.08643v1
- Date: Fri, 11 Oct 2024 09:10:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 22:45:00.754215
- Title: SOAK: Same/Other/All K-fold cross-validation for estimating similarity of patterns in data subsets
- Title（参考訳）: SOAK: データサブセットにおけるパターンの類似性を推定するための、同じ/他の/すべてのK-foldクロスバリデーション
- Authors: Toby Dylan Hocking, Gabrielle Thibault, Cameron Scott Bodine, Paul Nelson Arellano, Alexander F Shenkin, Olivia Jasmine Lindly,
- Abstract要約: 私たちは、両方の質問に答えるために使える新しい方法であるSOAK、同じ/他の/すべてのK-foldクロスバリデーションを提案します。
SOAKは、データの異なるサブセットに基づいてトレーニングされたモデルを体系的に比較し、固定されたテストサブセットの予測に使用し、データサブセットにおける学習可能/予測可能なパターンの類似性を推定します。
- 参考スコア（独自算出の注目度）: 39.12222516332026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many real-world applications of machine learning, we are interested to know if it is possible to train on the data that we have gathered so far, and obtain accurate predictions on a new test data subset that is qualitatively different in some respect (time period, geographic region, etc). Another question is whether data subsets are similar enough so that it is beneficial to combine subsets during model training. We propose SOAK, Same/Other/All K-fold cross-validation, a new method which can be used to answer both questions. SOAK systematically compares models which are trained on different subsets of data, and then used for prediction on a fixed test subset, to estimate the similarity of learnable/predictable patterns in data subsets. We show results of using SOAK on six new real data sets (with geographic/temporal subsets, to check if predictions are accurate on new subsets), 3 image pair data sets (subsets are different image types, to check that we get smaller prediction error on similar images), and 11 benchmark data sets with predefined train/test splits (to check similarity of predefined splits).
- Abstract（参考訳）: 機械学習の多くの実世界の応用において、これまでに収集したデータに基づいてトレーニングできるかどうかを知り、ある点で質的に異なる新しいテストデータサブセット(時間、地理的領域など)の正確な予測を得ることに興味があります。
別の疑問は、データサブセットがモデルトレーニング中にサブセットを組み合わせるのに十分なほどよく似ているかどうかである。
私たちは、両方の質問に答えるために使える新しい方法であるSOAK、同じ/他の/すべてのK-foldクロスバリデーションを提案します。
SOAKは、データの異なるサブセットに基づいてトレーニングされたモデルを体系的に比較し、固定されたテストサブセットの予測に使用し、データサブセットにおける学習可能/予測可能なパターンの類似性を推定します。
6つの新しい実データセット(地理的・時間的サブセットで予測が正確かどうかを確認するために、地理的・時間的サブセット)、3つのイメージペアデータセット(サブセットは異なるイメージタイプであり、類似したイメージで予測エラーが小さいことを確認するために、サブセットは異なるイメージタイプである)、および、事前に定義されたトレイン/テストスプリットを持つ11のベンチマークデータセット(事前定義されたスプリットの類似性をチェックするために、)でSOAKを使用した結果を示す。
関連論文リスト
- PARSAC: Accelerating Robust Multi-Model Fitting with Parallel Sample
Consensus [26.366299016589256]
雑音データから幾何モデルの複数事例を頑健に推定するリアルタイム手法を提案する。
ニューラルネットワークは、入力データを潜在的モデルインスタンスを表すクラスタに分割する。
我々は、画像当たり5ミリ秒の推論時間を持つ複数の確立されたデータセットと同様に、これらに対して最先端のパフォーマンスを実証する。
論文 参考訳（メタデータ） (2024-01-26T14:54:56Z) - The SVHN Dataset Is Deceptive for Probabilistic Generative Models Due to
a Distribution Mismatch [12.542073306638988]
Street View House Numbersデータセットは、ディープラーニングにおける人気のあるベンチマークデータセットである。
SVHNデータセットのトレーニングセットとテストセットに公式の分割が同じ分布から引き出されていないことを警告する。
本稿では,SVHNが分類以外のタスクに使用される場合に,公式のトレーニングセットとテストセットを混合して再分割することを提案する。
論文 参考訳（メタデータ） (2023-10-30T15:38:31Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳（メタデータ） (2023-02-03T02:40:54Z) - Using Mixed-Effect Models to Learn Bayesian Networks from Related Data
Sets [0.04297070083645048]
混合効果モデルを用いて連続データからベイズネットワークを学習するための類似解を提供する。
本研究では,その構造,パラメトリック,予測,分類の精度について検討する。
この改善は、低いサンプルサイズとバランスの取れないデータセットに特徴付けられる。
論文 参考訳（メタデータ） (2022-06-08T08:32:32Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳（メタデータ） (2022-02-08T02:59:12Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - Learning with Instance Bundles for Reading Comprehension [61.823444215188296]
質問応答スコアを複数の関連インスタンスで比較する新しい監視手法を提案する。
具体的には、密接に対照的な質問や回答のさまざまな近所でこれらのスコアを正規化します。
2つのデータセット上のインスタンスバンドルによるトレーニングの有効性を実証的に実証する。
論文 参考訳（メタデータ） (2021-04-18T06:17:54Z) - A Bayesian Hierarchical Score for Structure Learning from Related Data
Sets [0.7240563090941907]
ベイジアン階層ディリクレ(Bayesian Hierarchical Dirichlet, BHD)と呼ばれる新しいベイジアンディリクレスコアを提案する。
BHDは階層的なモデルに基づいており、データセットにまたがって情報をプールし、ネットワーク構造を包含する単一の学習を行う。
BHDは, 構造ハンミング距離によって測定された復元精度において, ベイズディリクレ等価値(BDeu)スコアよりも優れていた。
論文 参考訳（メタデータ） (2020-08-04T16:41:05Z) - SimEx: Express Prediction of Inter-dataset Similarity by a Fleet of
Autoencoders [13.55607978839719]
データの集合間の類似性を知ることは、効果的なモデルのトレーニングに多くの肯定的な意味を持つ。
事前訓練されたオートエンコーダのセットを用いて,データセット間の類似性を早期に予測する手法であるSimExを提案する。
本手法は,共通類似度推定手法と比較して,データセット間類似度予測において10倍以上の高速化を実現する。
論文 参考訳（メタデータ） (2020-01-14T16:52:50Z) - Cross-dataset Training for Class Increasing Object Detection [52.34737978720484]
オブジェクト検出におけるクロスデータセットトレーニングのための,概念的にシンプルで柔軟で汎用的なフレームワークを提案する。
データセット間のトレーニングによって、既存のデータセットを使用して、単一のモデルで統合されたオブジェクトクラスを検出することができる。
クロスデータセットトレーニングを使用している間、新しいデータセットに新しいクラスをラベル付けするだけです。
論文 参考訳（メタデータ） (2020-01-14T04:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。