論文の概要: Thinking in Groups: Permutation Tests Reveal Near-Out-of-Distribution
- arxiv url: http://arxiv.org/abs/2403.14058v2
- Date: Wed, 15 Oct 2025 17:15:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-16 20:13:28.213195
- Title: Thinking in Groups: Permutation Tests Reveal Near-Out-of-Distribution
- Title(参考訳): グループにおける思考: 置換テストは分布のほとんどを明らかにする
- Authors: Yasith Jayawardana, Dineth Jayakody, Sampath Jayarathna, Dushan N. Wadduwage,
- Abstract要約: ホモジニアスOoD(HooD)は相関データのための新しいOoD検出フレームワークである。
HooDは、トレーニングされたモデルを通して相関測定のグループを計画し、置換に基づく仮説テストを使用して既知のサブポピュレーションと比較する。
評価において、HOoDは、ポイントワイドおよびアンサンブルベースのOoD検出器よりも一貫して優れている。
- 参考スコア(独自算出の注目度): 0.8224695424591678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have the potential to power many biomedical workflows, but training them on truly representative, IID datasets is often infeasible. Most models instead rely on biased or incomplete data, making them prone to out-of-distribution (OoD) inputs that closely resemble in-distribution samples. Such near-OoD cases are harder to detect than standard OOD benchmarks and can cause unreliable, even catastrophic, predictions. Biomedical assays, however, offer a unique opportunity: they often generate multiple correlated measurements per specimen through biological or technical replicates. Exploiting this insight, we introduce Homogeneous OoD (HOoD), a novel OoD detection framework for correlated data. HOoD projects groups of correlated measurements through a trained model and uses permutation-based hypothesis tests to compare them with known subpopulations. Each test yields an interpretable p-value, quantifying how well a group matches a subpopulation. By aggregating these p-values, HOoD reliably identifies OoD groups. In evaluations, HOoD consistently outperforms point-wise and ensemble-based OoD detectors, demonstrating its promise for robust real-world deployment.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は多くのバイオメディカルワークフローを駆動する可能性があるが、真の代表的IDデータセットでそれらをトレーニングすることは不可能であることが多い。
ほとんどのモデルは偏りのあるデータや不完全なデータに依存しており、分布内サンプルとよく似た分布外インプット(OoD)の傾向にある。
このようなOoDに近いケースは、標準のOODベンチマークよりも検出が難しく、信頼性が悪く、破滅的な予測を引き起こします。
しかし、バイオメディカル・アッセイ(英語版)は、しばしば生物学的または技術的な複製を通じて、標本ごとに複数の相関した測定結果を生成するという、ユニークな機会を提供する。
この知見を出し、相関データのための新しいOoD検出フレームワークであるHooD(Homogeneous OoD)を紹介する。
HOoDは、トレーニングされたモデルを通して相関測定のグループを計画し、置換に基づく仮説テストを用いて既知のサブポピュレーションと比較する。
各テストは解釈可能なp-値を生成し、群がサブポピュレーションにどの程度よくマッチするかを定量化する。
これらのp-値を集約することにより、HOoDはOoD群を確実に識別する。
評価において、HOoDは、ポイントワイドおよびアンサンブルベースのOoD検出器を一貫して上回り、堅牢な現実世界展開の可能性を実証している。
関連論文リスト
- Exposing Diversity Bias in Deep Generative Models: Statistical Origins and Correction of Diversity Error [19.594704501292778]
我々は,最先端モデルにより生成されたサンプルの多様性と,対象データ分布から抽出したテストサンプルの多様性を比較した。
テストデータは、生成したサンプルよりも、VendiとRKEの多様性スコアがかなり高いことが判明した。
論文 参考訳(メタデータ) (2026-02-16T12:15:34Z) - Trustworthy scientific inference for inverse problems with generative models [2.986676058695281]
生成人工知能(AI)は、トレーニング例からパターンを学習することで、複雑なデータ構造(テキスト、画像、ビデオ)を生成できる。
科学の分野では、研究者は観測データから隠れたパラメータを推測するために生成モデルを適用している。
本稿では,Frequentist-Bayes(FreB)という,AI生成した確率分布を信頼領域に再認識する数学的厳密なプロトコルを提案する。
論文 参考訳(メタデータ) (2025-08-04T16:56:11Z) - A Sample Efficient Conditional Independence Test in the Presence of Discretization [54.047334792855345]
離散化されたデータに直接条件付き独立テスト(CI)は、誤った結論につながる可能性がある。
最近の進歩は、観測データをバイナライズすることで、潜伏変数間の適切なCI関係を推測することを目指している。
そこで本研究では,バイナライゼーションプロセスに依存しないサンプル効率のCIテストを提案する。
論文 参考訳(メタデータ) (2025-06-10T12:41:26Z) - DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。
単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。
Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
論文 参考訳(メタデータ) (2024-09-28T15:03:28Z) - Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。
混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。
UE識別のための反復フィルタリング手法を提案する。
論文 参考訳(メタデータ) (2024-08-15T13:26:13Z) - Uncertainty Measurement of Deep Learning System based on the Convex Hull of Training Sets [0.13265175299265505]
本研究では,訓練データの凸殻に基づくトレーニングモデルの不確実性を測定するTo-hull Uncertainity and Closure Ratioを提案する。
学習したデータの凸船体と見えないサンプルとの間の位置関係を観察し、サンプルが凸船体からどのように外挿されているかを推測することができる。
論文 参考訳(メタデータ) (2024-05-25T06:25:24Z) - Out-of-Distribution Detection with a Single Unconditional Diffusion Model [54.15132801131365]
アウト・オブ・ディストリビューション(OOD)検出は、異常サンプルを特定しようとする機械学習において重要なタスクである。
従来、教師なし手法はOOD検出に深い生成モデルを用いていた。
本稿では,単一モデルが多様なタスクに対してOOD検出を行うことができるかどうかを考察する。
論文 参考訳(メタデータ) (2024-05-20T08:54:03Z) - Optimizing OOD Detection in Molecular Graphs: A Novel Approach with Diffusion Models [71.39421638547164]
本稿では,入力分子と再構成グラフの類似性を比較する補助拡散モデルに基づくフレームワークを用いてOOD分子を検出することを提案する。
IDトレーニングサンプルの再構成に向けた生成バイアスのため、OOD分子の類似度スコアは検出を容易にするためにはるかに低い。
本研究は,PGR-MOOD(PGR-MOOD)とよばれる分子OOD検出のためのプロトタイプグラフ再構成のアプローチを開拓し,3つのイノベーションを生かした。
論文 参考訳(メタデータ) (2024-04-24T03:25:53Z) - A Geometric Explanation of the Likelihood OOD Detection Paradox [19.205693812937422]
最小の確率質量を含む場合、高次領域は生成されないことを示す。
本稿では,事前訓練したDGMから得られた可能性とLID推定値とをペアリングするOOD検出手法を提案する。
論文 参考訳(メタデータ) (2024-03-27T18:02:49Z) - Window-Based Distribution Shift Detection for Deep Neural Networks [21.73028341299301]
本研究では,データストリームを受信したディープニューラルネットワーク(DNN)の正常動作をモニタリングする場合について検討する。
選択的予測原理を用いて,DNNの分布偏差検出手法を提案する。
我々の新しい検出法は、最先端技術よりもかなり少ない時間を消費しながら、オンパー以上の性能を発揮する。
論文 参考訳(メタデータ) (2022-10-19T21:27:25Z) - A Novel Explainable Out-of-Distribution Detection Approach for Spiking
Neural Networks [6.100274095771616]
この研究は、スパイキングニューラルネットワークに入力されたテスト例がトレーニングされたデータの分布に属するかどうかを識別できる新しいOoD検出器を提案する。
我々は、スパイクカウントパターンの形で、ネットワークの隠蔽層の内部活性化を特徴付ける。
入力インスタンスのどの部分が最もOoDサンプルとして検出されるかを明らかにする属性マップを作成するために,局所的な説明法が考案された。
論文 参考訳(メタデータ) (2022-09-30T11:16:35Z) - Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。
IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。
OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
論文 参考訳(メタデータ) (2022-05-30T15:40:33Z) - iDECODe: In-distribution Equivariance for Conformal Out-of-distribution
Detection [24.518698391381204]
ディープニューラルネットワーク(DNN)のような機械学習手法は、しばしば信頼性の高い誤った予測を生成する。
そこで我々は,共形OOD検出に分配同値を用いたiDECODeを提案する。
画像と音声のデータセットを用いた実験により,iDECODeの有効性を実証し,その結果を得た。
論文 参考訳(メタデータ) (2022-01-07T05:21:40Z) - Group Testing with a Graph Infection Spread Model [61.48558770435175]
感染は個人間のつながりを通じて広がり、その結果、確率的クラスター形成構造と、個人に対する非i.d.感染状態が生じる。
そこで本研究では,既知の確率的感染拡散モデルを利用する2段階のサンプルグループテストアルゴリズムを提案する。
その結果, 感染率が高い場合でも, 集団検査により必要な検査数を大幅に削減できることが示唆された。
論文 参考訳(メタデータ) (2021-01-14T18:51:32Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z) - Out-of-distribution detection for regression tasks: parameter versus
predictor entropy [2.026281591452464]
マシンラーニングモデルが信頼されるためのトレーニングサンプルから、インスタンスが正しく外れていることを検出することが重要です。
ニューラルネットワークの場合、このタスクの1つのアプローチは、トレーニングデータを説明することができる予測子の多様性を学習することである。
そこで本研究では,関数空間に近接する隣接点に基づく予測器上の分布のエントロピーを推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-24T21:41:21Z) - Tracking disease outbreaks from sparse data with Bayesian inference [55.82986443159948]
新型コロナウイルス(COVID-19)のパンデミックは、感染発生時の感染率を推定する新たな動機を与える。
標準的な手法は、より細かいスケールで共通する部分的な観測可能性とスパースなデータに対応するのに苦労する。
原理的に部分観測可能なベイズ的枠組みを提案する。
論文 参考訳(メタデータ) (2020-09-12T20:37:33Z) - Density of States Estimation for Out-of-Distribution Detection [69.90130863160384]
DoSEは状態推定器の密度である。
我々は、他の教師なしOOD検出器に対するDoSEの最先端性能を実証する。
論文 参考訳(メタデータ) (2020-06-16T16:06:25Z) - A Causal Direction Test for Heterogeneous Populations [10.653162005300608]
ほとんどの因果モデルでは、単一の同質な集団を仮定するが、これは多くの応用において成り立たない仮定である。
等質性仮定に違反した場合、そのような仮定に基づいて開発された因果モデルが正しい因果方向を識別できないことを示す。
我々は,$k$-means型クラスタリングアルゴリズムを用いて,一般的な因果方向検定統計量の調整を提案する。
論文 参考訳(メタデータ) (2020-06-08T18:59:14Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳(メタデータ) (2020-03-11T00:22:50Z) - Generalized ODIN: Detecting Out-of-distribution Image without Learning
from Out-of-distribution Data [87.61504710345528]
我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。
具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。
大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
論文 参考訳(メタデータ) (2020-02-26T04:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。