論文の概要: Feature Shift Localization Network
- arxiv url: http://arxiv.org/abs/2506.09101v1
- Date: Tue, 10 Jun 2025 15:27:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 06:35:01.730377
- Title: Feature Shift Localization Network
- Title(参考訳): 特徴シフト・ローカライゼーション・ネットワーク
- Authors: Míriam Barrabés, Daniel Mas Montserrat, Kapal Dev, Alexander G. Ioannidis,
- Abstract要約: 大規模・高次元データセットにおける特徴シフトを高速かつ正確な方法でローカライズするニューラルネットワークを導入する。
多数のデータセットでトレーニングされたこのネットワークは、データセットの統計的性質を抽出することを学び、再トレーニングを必要とせずに、機能シフトをローカライズする。
- 参考スコア(独自算出の注目度): 51.33484517421393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature shifts between data sources are present in many applications involving healthcare, biomedical, socioeconomic, financial, survey, and multi-sensor data, among others, where unharmonized heterogeneous data sources, noisy data measurements, or inconsistent processing and standardization pipelines can lead to erroneous features. Localizing shifted features is important to address the underlying cause of the shift and correct or filter the data to avoid degrading downstream analysis. While many techniques can detect distribution shifts, localizing the features originating them is still challenging, with current solutions being either inaccurate or not scalable to large and high-dimensional datasets. In this work, we introduce the Feature Shift Localization Network (FSL-Net), a neural network that can localize feature shifts in large and high-dimensional datasets in a fast and accurate manner. The network, trained with a large number of datasets, learns to extract the statistical properties of the datasets and can localize feature shifts from previously unseen datasets and shifts without the need for re-training. The code and ready-to-use trained model are available at https://github.com/AI-sandbox/FSL-Net.
- Abstract(参考訳): データソース間の特徴シフトは、医療、医療、社会経済、財務、調査、マルチセンサーデータを含む多くのアプリケーションに存在し、不調和な異種データソース、ノイズの多いデータ測定、一貫性のない処理と標準化パイプラインが誤った特徴をもたらす可能性がある。
シフトした機能のローカライズは、シフトの根本原因に対処し、ダウンストリーム分析の劣化を避けるためにデータを修正またはフィルタリングする上で重要である。
多くの技術が分散シフトを検出できるが、それらに由来する特徴をローカライズすることは依然として困難であり、現在のソリューションは大規模で高次元のデータセットに対して不正確かスケーラブルでない。
本研究では,大規模・高次元データセットにおける特徴シフトを高速かつ正確な方法でローカライズするニューラルネットワークであるFeature Shift Localization Network (FSL-Net)を紹介する。
多数のデータセットでトレーニングされたこのネットワークは、データセットの統計的性質を抽出することを学び、これまで見つからなかったデータセットから機能シフトをローカライズする。
コードと使用可能なトレーニングモデルはhttps://github.com/AI-sandbox/FSL-Net.comで公開されている。
関連論文リスト
- FlexLoc: Conditional Neural Networks for Zero-Shot Sensor Perspective Invariance in Object Localization with Distributed Multimodal Sensors [6.676517041445593]
我々は、条件付きニューラルネットワークを用いてノードの視点情報を注入し、ローカライゼーションパイプラインに適応するFlexLocを紹介した。
マルチモーダル・マルチビュー屋内追跡データセットを用いた評価では,ゼロショットの場合,FlexLoc はローカライズ精度を約50%向上することが示された。
論文 参考訳(メタデータ) (2024-06-10T21:02:53Z) - Adversarial Learning for Feature Shift Detection and Correction [45.65548560695731]
機能シフトは、複数のセンサデータ、一部のセンサが機能不全である、あるいは構造化データ、欠陥のある標準化とデータ処理パイプラインが誤った機能につながる、など、多くのデータセットで起こりうる。
そこで本研究では,2つの分布を区別するために訓練された複数の識別器から得られる情報を用いて,破損した特徴を検知し,それらを修正することにより,データセット間の分布シフトを除去する。
論文 参考訳(メタデータ) (2023-12-07T18:58:40Z) - Binary Quantification and Dataset Shift: An Experimental Investigation [54.14283123210872]
量子化は教師付き学習タスクであり、未学習データの集合のクラス有病率の予測器を訓練する。
定量化と他のタイプのデータセットシフトの関係は、いまだ大きく、未調査のままである。
本稿では,これらのシフトに影響を受けるデータセットの生成プロトコルを確立することにより,データセットシフトの種類を詳細に分類する手法を提案する。
論文 参考訳(メタデータ) (2023-10-06T20:11:27Z) - DOMINO: Domain-invariant Hyperdimensional Classification for
Multi-Sensor Time Series Data [14.434647668734184]
ノイズの多いマルチセンサ時系列データにおける分散シフト問題に対処する新しいHDC学習フレームワークであるDOMINOを提案する。
DOMINOは最先端(SOTA)DNNベースのドメイン一般化技術よりも平均2.04%高い精度で達成し、16.34倍高速なトレーニングと2.89倍高速な推論を提供する。
論文 参考訳(メタデータ) (2023-08-07T04:44:12Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - Scalable Neural Data Server: A Data Recommender for Transfer Learning [70.06289658553675]
転送学習は、下流のパフォーマンスを改善するために追加データを活用する一般的な戦略である。
Nerve Data Server (NDS)は、特定の下流タスクに関連するデータを推奨する検索エンジンで、この問題に対処するためにこれまで提案されていた。
NDSは、データソースでトレーニングされた専門家の混合物を使用して、各ソースと下流タスクの類似性を推定する。
SNDSは、中間データセットに近接して、データソースと下流タスクの両方を表現します。
論文 参考訳(メタデータ) (2022-06-19T12:07:32Z) - Leveraging Multi-domain, Heterogeneous Data using Deep Multitask
Learning for Hate Speech Detection [21.410160004193916]
畳み込みニューラルネットワークに基づくマルチタスク学習モデル(MTL)フットノートコードを提案し,複数のソースからの情報を活用する。
3つのベンチマークデータセットで実施した実証分析は,提案手法の有効性を示す。
論文 参考訳(メタデータ) (2021-03-23T09:31:01Z) - On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。
現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。
トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-07-16T18:39:04Z) - Learning across label confidence distributions using Filtered Transfer
Learning [0.44040106718326594]
本稿では,大きな可変信頼度データセットを持つノイズの多いデータシステムにおいて,予測能力を向上させるための伝達学習手法を提案する。
本稿では、複数の階層のデータ信頼度を個別のタスクとして定義する、FTL(Filted Transfer Learning)と呼ばれるディープニューラルネットワーク手法を提案する。
FTLを用いてラベル信頼度分布を段階的に学習すると、単一の信頼範囲でトレーニングされたディープニューラルネットワークモデルよりも高いパフォーマンスが得られることを示す。
論文 参考訳(メタデータ) (2020-06-03T21:00:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。