論文の概要: From Imbalance to Evidence: Deep Nonparametric Testing for Complex Data under Severe Sample Imbalance
- arxiv url: http://arxiv.org/abs/2610.12946v1
- Date: Fri, 09 Oct 2026 03:44:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.376527
- Title: From Imbalance to Evidence: Deep Nonparametric Testing for Complex Data under Severe Sample Imbalance
- Title(参考訳): 不均衡からエビデンス:厳密なサンプル不均衡下での複素データに対する深度非パラメトリックテスト
- Abstract要約: 2サンプルテスト (C2STs) は柔軟性を提供するが、既存の手順は主にバランスの取れた、あるいは比較可能な大きさのサンプルのために設計されている。
本稿では,C2STを高度に不均衡な状態で研究し,重度サンプル不均衡が試験性能を著しく低下させることを示した。
多様なデータモダリティに対応するサンプル不均衡のためのフレームワークであるIm Balance-Aware Deep-Sample Test (EIAD-C2ST)を提案する。
- 参考スコア(独自算出の注目度): 3.84444536816777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Comparing distributions under severe sample imbalance requires effectively using abundant majority observations while retaining sensitivity to differences involving the smaller sample. This challenge is particularly relevant for complex, non-Euclidean data, such as graphs, whose structural characteristics call for flexible testing procedures. Classifier two-sample tests (C2STs) provide such flexibility, but existing procedures are primarily designed for balanced or comparably sized samples. In this paper, we study C2STs in a highly imbalanced regime, and show that severe sample imbalance may substantially degrade testing performance. Different from conventional imbalanced learning approaches that treat sample imbalance merely as a nuisance for classifier training, we turn it into a source of repeated testing evidence. Building on this insight, we propose an Enhanced Imbalance-Aware Deep Classifier Two-Sample Test (EIAD-C2ST), a classifier-agnostic framework designed for sample imbalance that accommodates diverse data modalities by tailoring classifiers to data structure. For computationally expensive deep classifiers, we further develop a scalable representation-amortized implementation strategy. Theoretically, we establish rigorous guarantees on asymptotic size and characterize conditions for power consistency, allowing the imbalance ratio to diverge. We demonstrate the empirical gains using simulations and an application to blockchain forensics. The results reveal that the majority-sample surplus, when properly leveraged, can be organized into useful statistical evidence, rather than an obstacle, for distributional comparisons with complex data.
- Abstract(参考訳): 厳密な試料不均衡下での分布の比較には, 試料間の差異に敏感でありながら, 大多数の観察を効果的に利用する必要がある。
この課題はグラフのような複雑な非ユークリッドデータに特に関係しており、その構造的特性は柔軟なテスト手順を要求する。
分類器の2サンプルテスト (C2STs) はそのような柔軟性を提供するが、既存の手順は主にバランスの取れた、あるいは比較可能な大きさのサンプルのために設計されている。
本稿では,C2STを高度に不均衡な状態で研究し,重度サンプル不均衡が試験性能を著しく低下させることを示した。
標本不均衡を分類器訓練のニュアンスとして扱う従来の不均衡学習手法と異なり、繰り返し行われる検査証拠の源となっている。
この知見に基づいて,分類器をデータ構造に調整することで,多種多様なデータモダリティに適合するサンプル不均衡を実現するために設計された分類器非依存のフレームワークである拡張不均衡型深層分類器2サンプルテスト (EIAD-C2ST) を提案する。
計算コストのかかる深層分類器に対しては,拡張性のある表現適応型実装戦略をさらに発展させる。
理論的には、漸近的な大きさの厳密な保証を確立し、パワー一貫性の条件を特徴付けることにより、不均衡比のばらつきを可能にする。
シミュレーションによる実証的なゲインとブロックチェーンの法医学への応用を実証する。
その結果, 多数サンプル余剰は, 適切に利用すれば, 複雑なデータとの分布比較において, 障害ではなく, 有用な統計的証拠にまとめることができることがわかった。
関連論文リスト
- Rethinking Data Augmentation under Covariate Shift: Invariant-Guided Diffusion and Prototype Reweighting [48.25268129930951]
我々は,孤立点ではなく構造クラスタによるサンプル信頼性を評価するプロトタイプベースのリウェイト手法を開発した。
本手法は,ロバスト学習に最も有用なデータを増やすことにより,データ品質を向上させる。
論文 参考訳(メタデータ) (2026-10-01T00:46:17Z) - LOTTERY: Learning from Reference-Only Samples in Two-Sample Testing under Size Asymmetry [6.903548360333296]
本研究では, 厳密なサンプルサイズの不均衡を構成的に活用する方法を示す。
グローバル構造とローカル構造の両方をキャプチャする表現ファミリーのコレクションを組み込んでいます。
サンプルのサイズが大きくなると、表現集合が少なくとも1つの一貫した表現を含むとき、テストパワーは1つに収束する。
論文 参考訳(メタデータ) (2026-06-07T05:49:42Z) - Sampling Control for Imbalanced Calibration in Semi-Supervised Learning [14.563492336625004]
半教師付き学習(SSL)におけるクラス不均衡は依然として重要な課題である
分離サンプリング制御によりモデルバイアスを抑制する統合フレームワークSC-SSLを提案する。
論文 参考訳(メタデータ) (2025-11-24T05:15:58Z) - Beyond Rebalancing: Benchmarking Binary Classifiers Under Class Imbalance Without Rebalancing Techniques [3.7660066212240744]
クラス不均衡は、特に医学診断や異常検出といった重要な領域において、教師付き分類にとって重要な課題である。
実世界のデータセットと合成データセットの両方にまたがる多様なバイナリ分類器の頑健さを体系的に評価する。
その結果、データの複雑さが増加し、マイノリティクラスのサイズが減少するにつれて、分類がより困難になることが確認された。
論文 参考訳(メタデータ) (2025-09-09T11:28:34Z) - Multiple Testing of Linear Forms for Noisy Matrix Completion [13.269597888405759]
急激な新しい統計値を持つ個別試験のための新しい統計値を導入することで、難易度を克服する一般的な手法を開発する。
ほぼ最適なサンプルサイズ条件下で、有効FDR制御が保証されたパワーで達成可能であることを示す。
論文 参考訳(メタデータ) (2023-12-01T02:53:20Z) - Breaking the Spurious Causality of Conditional Generation via Fairness
Intervention with Corrective Sampling [77.15766509677348]
条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。
これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。
この問題を緩和するための一般的な2段階戦略を提案する。
論文 参考訳(メタデータ) (2022-12-05T08:09:33Z) - A Characterization of Semi-Supervised Adversarially-Robust PAC Learnability [57.502573663108535]
本研究では、半教師付きPACモデルにおいて、時間攻撃をテストするために、逆向きに頑健な予測器を学習する問題について検討する。
最悪の分布自由モデルにおいても,半教師付き頑健な学習には大きなメリットがあることが示されている。
論文 参考訳(メタデータ) (2022-02-11T03:01:45Z) - Two-Sample Testing on Ranked Preference Data and the Role of Modeling
Assumptions [57.77347280992548]
本稿では,ペアワイズ比較データとランキングデータのための2サンプル試験を設計する。
私たちのテストでは、基本的に分布に関する仮定は必要ありません。
実世界のペアワイズ比較データに2サンプルテストを適用することで、人によって提供される評価とランキングは、実際は異なる分散である、と結論付ける。
論文 参考訳(メタデータ) (2020-06-21T20:51:09Z) - Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。
線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
論文 参考訳(メタデータ) (2020-05-08T05:09:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。