論文の概要: Towards IID representation learning and its application on biomedical
data
- arxiv url: http://arxiv.org/abs/2203.00332v1
- Date: Tue, 1 Mar 2022 10:15:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 20:00:39.543845
- Title: Towards IID representation learning and its application on biomedical
data
- Title（参考訳）: IID表現学習への取り組みとバイオメディカルデータへの応用
- Authors: Jiqing Wu, Inti Zlobec, Maxime Lafarge, Yukun He, Viktor H. Koelzer
- Abstract要約: 広く受け入れられている独立性と同一分布(IID)の仮定は、因果関係に関する最近の研究で批判されている。
本稿では、疑わしい仮定である代わりに、IIDは学習すべき基本的なタスク関連特性である、と論じる。
- 参考スコア（独自算出の注目度）: 2.91364210254152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the heterogeneity of real-world data, the widely accepted independent
and identically distributed (IID) assumption has been criticized in recent
studies on causality. In this paper, we argue that instead of being a
questionable assumption, IID is a fundamental task-relevant property that needs
to be learned. Consider $k$ independent random vectors $\mathsf{X}^{i = 1,
\ldots, k}$, we elaborate on how a variety of different causal questions can be
reformulated to learning a task-relevant function $\phi$ that induces IID among
$\mathsf{Z}^i := \phi \circ \mathsf{X}^i$, which we term IID representation
learning.
For proof of concept, we examine the IID representation learning on
Out-of-Distribution (OOD) generalization tasks. Concretely, by utilizing the
representation obtained via the learned function that induces IID, we conduct
prediction of molecular characteristics (molecular prediction) on two
biomedical datasets with real-world distribution shifts introduced by a)
preanalytical variation and b) sampling protocol. To enable reproducibility and
for comparison to the state-of-the-art (SOTA) methods, this is done by
following the OOD benchmarking guidelines recommended from WILDS. Compared to
the SOTA baselines supported in WILDS, the results confirm the superior
performance of IID representation learning on OOD tasks. The code is publicly
accessible via https://github.com/CTPLab/IID_representation_learning.
- Abstract（参考訳）: 実世界のデータの不均一性のため、因果関係に関する最近の研究で広く受け入れられた独立性と同一分布(IID)の仮定が批判されている。
本稿では、疑わしい仮定である代わりに、IIDは学習すべき基本的なタスク関連特性である、と論じる。
k$ 独立確率ベクトル $\mathsf{X}^{i = 1, \ldots, k}$ を考えると、様々な因果質問がタスク関連関数 $\phi$ の学習によって IID を誘導する$\mathsf{Z}^i := \phi \circ \mathsf{X}^i$ の学習によってどのように再構成されるかが詳しく説明される。
概念実証のために,アウト・オブ・ディストリビューション(OOD)一般化タスクにおけるIID表現学習について検討する。
具体的には、IIDを誘導する学習関数を用いて得られた表現を利用して、2つのバイオメディカルデータセット上で分子特性(分子予測)の予測を行う。
a)前分析的な変異と
b) サンプリングプロトコル。
再現性を実現し,SOTA(State-of-the-art)手法と比較するために,WILDSから推奨されるOODベンチマークガイドラインに従う。
WILDS でサポートされている SOTA ベースラインと比較して,OOD タスクにおける IID 表現学習の優れた性能が確認された。
コードはhttps://github.com/ctplab/iid_representation_learningで公開されている。
関連論文リスト
- FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。
最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。
凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
論文 参考訳（メタデータ） (2024-02-27T15:53:15Z) - Collaborative Learning with Different Labeling Functions [7.228285747845779]
我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。
データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
論文 参考訳（メタデータ） (2024-02-16T04:32:22Z) - How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。
本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
論文 参考訳（メタデータ） (2024-02-05T20:36:33Z) - Learning From Drift: Federated Learning on Non-IID Data via Drift
Regularization [11.813552364878868]
フェデレートされた学習アルゴリズムは、独立および同一分散(IID)データに対して合理的に機能する。
彼らは異種環境、すなわち非IIDデータに悩まされている。
ヘテロジニアスな環境下でモデルを効果的に訓練する新しい手法であるLearning from Drift (LfD)を提案する。
論文 参考訳（メタデータ） (2023-09-13T09:23:09Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳（メタデータ） (2023-06-27T16:59:06Z) - Open-World Pose Transfer via Sequential Test-Time Adaption [92.67291699304992]
典型的なポーズ転送フレームワークは、通常、識別モデルをトレーニングするために代表的データセットを使用する。
テスト時間適応(TTA)は、自己スーパービジョンで本質的な特徴を学習する事前学習モデルを使用することで、OODデータに対して実現可能なソリューションを提供する。
実験では、まず、Tiktokの再現や有名人による動き合成など、オープンワールドの応用に、ポーズ転送が適用可能であることを示す。
論文 参考訳（メタデータ） (2023-03-20T09:01:23Z) - Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。
IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。
OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
論文 参考訳（メタデータ） (2022-05-30T15:40:33Z) - No Shifted Augmentations (NSA): compact distributions for robust
self-supervised Anomaly Detection [4.243926243206826]
教師なし異常検出(AD)は正規化の概念を構築し、分布内(ID)と分布外(OOD)データを区別する必要がある。
我々は,ID特徴分布のエンフ幾何学的コンパクト性によって,外乱の分離や検出が容易になるかを検討する。
我々は,IDデータのコンパクトな分布を学習可能にする自己教師型特徴学習ステップに,新たなアーキテクチャ変更を提案する。
論文 参考訳（メタデータ） (2022-03-19T15:55:32Z) - Covariate-informed Representation Learning with Samplewise Optimal
Identifiable Variational Autoencoders [15.254297587065595]
最近提案された変分オートエンコーダ (iVAE) は、データの潜在独立成分を学習するための有望なアプローチを提供する。
我々は新しいアプローチ、CI-iVAE(co-informed identible VAE)を開発した。
目的関数は逆関係を強制し、学習された表現はより多くの観測情報を含む。
論文 参考訳（メタデータ） (2022-02-09T00:18:33Z) - Introspective Distillation for Robust Question Answering [70.18644911309468]
質問応答(QA)モデルは、例えば、視覚的QAに先行する言語や、読解における位置バイアスなど、データのバイアスを利用するためによく知られている。
近年の脱バイアス法は, 分配内(ID)性能のかなりの犠牲を伴い, 分配外(OOD)の一般化性を良好に達成している。
IntroD(Introspective Distillation)と呼ばれる新しい脱湿法を提案し,両者のQAを最大限に活用する。
論文 参考訳（メタデータ） (2021-11-01T15:30:15Z) - IID-GAN: an IID Sampling Perspective for Regularizing Mode Collapse [82.49564071049366]
GAN(Generative Adversarial Network)はまだモード崩壊に悩まされている。
我々は、この問題を独立かつ同一に分散されたIIDサンプリング視点で分析し、規則化しようと試みる。
本稿では,実データの逆サンプルとガウス音源との近接性を高め,対象分布から生成するIIDを正規化するための新たな損失を提案する。
論文 参考訳（メタデータ） (2021-06-01T15:20:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。