論文の概要: Wild-Tab: A Benchmark For Out-Of-Distribution Generalization In Tabular Regression

• arxiv url: http://arxiv.org/abs/2312.01792v1
• Date: Mon, 4 Dec 2023 10:27:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 15:26:18.813402
• Title: Wild-Tab: A Benchmark For Out-Of-Distribution Generalization In Tabular Regression
• Title（参考訳）: wild-tab:表回帰におけるアウトオブディストリビューション一般化のためのベンチマーク
• Authors: Sergey Kolesnikov
• Abstract要約: アウト・オブ・ディストリビューション(OOD)の一般化は、ディープラーニングにおいて進行中の課題である。 表回帰タスクにおけるOOD一般化に適したベンチマークであるWild-Tabを提案する。 このベンチマークでは、天気予報や消費電力推定といった分野から得られた3つの産業データセットが組み込まれている。 これらの手法の多くは、未確認データのハイパフォーマンスレベルを維持するのに苦労することが多く、OOD性能は、分配性能と比較して顕著な低下を示している。
• 参考スコア（独自算出の注目度）: 4.532517021515834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-Distribution (OOD) generalization, a cornerstone for building robust machine learning models capable of handling data diverging from the training set's distribution, is an ongoing challenge in deep learning. While significant progress has been observed in computer vision and natural language processing, its exploration in tabular data, ubiquitous in many industrial applications, remains nascent. To bridge this gap, we present Wild-Tab, a large-scale benchmark tailored for OOD generalization in tabular regression tasks. The benchmark incorporates 3 industrial datasets sourced from fields like weather prediction and power consumption estimation, providing a challenging testbed for evaluating OOD performance under real-world conditions. Our extensive experiments, evaluating 10 distinct OOD generalization methods on Wild-Tab, reveal nuanced insights. We observe that many of these methods often struggle to maintain high-performance levels on unseen data, with OOD performance showing a marked drop compared to in-distribution performance. At the same time, Empirical Risk Minimization (ERM), despite its simplicity, delivers robust performance across all evaluations, rivaling the results of state-of-the-art methods. Looking forward, we hope that the release of Wild-Tab will facilitate further research on OOD generalization and aid in the deployment of machine learning models in various real-world contexts where handling distribution shifts is a crucial requirement.
• Abstract（参考訳）: Out-of-Distribution(OOD)の一般化は、トレーニングセットのディストリビューションからデータを分岐する処理が可能な堅牢な機械学習モデルを構築するための基盤であり、ディープラーニングにおいて進行中の課題である。 コンピュータビジョンや自然言語処理では大きな進歩が見られたが、多くの産業応用においてユビキタスな表データでの探索はいまだに始まったばかりである。 このギャップを埋めるために,表回帰タスクにおけるOOD一般化に適した大規模ベンチマークWild-Tabを提案する。 このベンチマークでは、天気予報や消費電力推定といった分野から得られた3つの産業データセットが組み込まれている。 ワイルドタブ上でのOOD一般化手法を10種類評価し,詳細な知見を得た。 これらの手法の多くは、未確認データのハイパフォーマンスレベルを維持するのに苦労することが多く、OOD性能は、分配性能と比較して顕著な低下を示している。 同時に、経験的リスク最小化(ERM: Empirical Risk Minimization)は、その単純さにもかかわらず、すべての評価において堅牢なパフォーマンスを提供し、最先端の手法の結果に匹敵する。 今後、Wild-Tabのリリースによって、OODの一般化に関するさらなる研究と、分散シフトを扱うさまざまな現実のコンテキストにおける機械学習モデルのデプロイの支援が、重要な要件になることを期待しています。

関連論文リスト

• Out-of-Distribution Learning with Human Feedback [26.398598663165636]
  本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。 当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。 人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
  論文  参考訳（メタデータ） (2024-08-14T18:49:27Z)
• Reliability in Semantic Segmentation: Can We Use Synthetic Data? [69.28268603137546]
  セマンティックセグメンテーションモデルの現実的信頼性を総合的に評価するために、合成データを具体的に生成する方法を初めて示す。 この合成データは、事前訓練されたセグメンタの堅牢性を評価するために使用される。 セグメンタのキャリブレーションとOOD検出能力を向上するために,我々のアプローチをどのように活用できるかを実証する。
  論文  参考訳（メタデータ） (2023-12-14T18:56:07Z)
• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• WOODS: Benchmarks for Out-of-Distribution Generalization in Time Series [9.181035389003759]
  WOODS: さまざまなデータモダリティをカバーする8つのオープンソースの時系列ベンチマークについて紹介する。 我々は、時系列タスクのための既存のOOD一般化アルゴリズムを改訂し、体系的なフレームワークを用いて評価する。 実験の結果,データセット上での経験的リスク最小化とOOD一般化アルゴリズムの改善の余地が広いことがわかった。
  論文  参考訳（メタデータ） (2022-03-18T14:12:54Z)
• Training OOD Detectors in their Natural Habitats [31.565635192716712]
  アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。 近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。 我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:38:39Z)
• BEDS-Bench: Behavior of EHR-models under Distributional Shift--A Benchmark [21.040754460129854]
  OOD設定下でのEHRデータ上でのMLモデルの振る舞いを定量化するベンチマークであるBEDS-Benchをリリースする。 BEDS-Bench の学習アルゴリズムを複数評価した結果,一般に分布シフト下での一般化性能の低下が判明した。
  論文  参考訳（メタデータ） (2021-07-17T05:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。