論文の概要: DRIFT: Data Reduction via Informative Feature Transformation- Generalization Begins Before Deep Learning starts

• arxiv url: http://arxiv.org/abs/2506.19734v1
• Date: Tue, 24 Jun 2025 15:53:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.70591
• Title: DRIFT: Data Reduction via Informative Feature Transformation- Generalization Begins Before Deep Learning starts
• Title（参考訳）: DRIFT: インフォーマティブな特徴変換によるデータ削減-ディープラーニング開始前の一般化
• Authors: Ben Keslaki,
• Abstract要約: DRIFTは物理系の振動解析に触発された新しい前処理技術である。 信号と雑音の両方の中で学習しようとする従来のモデルとは異なり、DRIFTは情報的特徴を強調することで物理知覚を模倣する。 DRIFTでは、画像はプレートの空間振動モード形状によって形成された低次元の基底に投影され、物理的に接地された特徴セットを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep learning architectures excel at optimization, but only after the data has entered the network. The true bottleneck lies in preparing the right input: minimal, salient, and structured in a way that reflects the essential patterns of the data. We propose DRIFT (Data Reduction via Informative Feature Transformation), a novel preprocessing technique inspired by vibrational analysis in physical systems, to identify and extract the most resonant modes of input data prior to training. Unlike traditional models that attempt to learn amidst both signal and noise, DRIFT mimics physics perception by emphasizing informative features while discarding irrelevant elements. The result is a more compact and interpretable representation that enhances training stability and generalization performance. In DRIFT, images are projected onto a low-dimensional basis formed by spatial vibration mode shapes of plates, offering a physically grounded feature set. This enables neural networks to operate with drastically fewer input dimensions (~ 50 features on MNIST and less than 100 on CIFAR100) while achieving competitive classification accuracy. Extensive experiments across MNIST and CIFAR100 demonstrate DRIFT's superiority over standard pixel-based models and PCA in terms of training stability, resistance to overfitting, and generalization robustness. Notably, DRIFT displays minimal sensitivity to changes in batch size, network architecture, and image resolution, further establishing it as a resilient and efficient data representation strategy. This work shifts the focus from architecture engineering to input curation and underscores the power of physics-driven data transformations in advancing deep learning performance.
• Abstract（参考訳）: 現代のディープラーニングアーキテクチャは最適化に優れていますが、データがネットワークに入った後のみです。 真のボトルネックは、データの本質的なパターンを反映した、最小限の、健全な、構造化された、適切な入力を作成することだ。 DRIFT(Data Reduction via Informative Feature Transformation)は,物理系の振動解析にインスパイアされた新しい前処理技術である。 信号と雑音の両方の中で学習しようとする従来のモデルとは異なり、DRIFTは、無関係な要素を捨てながら情報的特徴を強調することで、物理学的な知覚を模倣する。 その結果、よりコンパクトで解釈可能な表現となり、トレーニングの安定性と一般化性能が向上する。 DRIFTでは、画像はプレートの空間振動モード形状によって形成された低次元の基底に投影され、物理的に接地された特徴セットを提供する。 これにより、ニューラルネットワークは、非常に少ない入力次元(MNISTでは50個、CIFAR100では100個未満)で動作し、競争力のある分類精度を達成することができる。 MNISTとCIFAR100の広範な実験は、DRIFTが標準画素ベースのモデルやPCAよりも、トレーニング安定性、オーバーフィッティングに対する耐性、一般化ロバスト性において優れていることを示した。 特に、DRIFTはバッチサイズ、ネットワークアーキテクチャ、画像解像度の変化に対して最小限の感度を示し、弾力的で効率的なデータ表現戦略として確立している。 この研究は、アーキテクチャ工学から入力キュレーションへと焦点を移し、ディープラーニングのパフォーマンス向上における物理駆動型データ変換の力を強調する。

関連論文リスト

• F-INR: Functional Tensor Decomposition for Implicit Neural Representations [7.183424522250937]
  Implicit Representation (INR) は、ニューラルネットワークを用いて離散信号を連続的に微分可能な関数に符号化する強力なツールとして登場した。 機能的分解によりINR学習を再構築し,高次元タスクを軽量な軸特化サブネットワークに分割するフレームワークF-INRを提案する。
  論文  参考訳（メタデータ） (2025-03-27T13:51:31Z)
• Re-Visible Dual-Domain Self-Supervised Deep Unfolding Network for MRI Reconstruction [48.30341580103962]
  本稿では、これらの問題に対処するために、新しい再視覚的二重ドメイン自己教師型深層展開ネットワークを提案する。 エンド・ツー・エンドの再構築を実現するために,シャンブルとポック・プロキシ・ポイント・アルゴリズム(DUN-CP-PPA)に基づく深層展開ネットワークを設計する。 高速MRIおよびIXIデータセットを用いて行った実験により,本手法は再建性能において最先端の手法よりも有意に優れていることが示された。
  論文  参考訳（メタデータ） (2025-01-07T12:29:32Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Analyzing and Improving the Training Dynamics of Diffusion Models [36.37845647984578]
  一般的なADM拡散モデルアーキテクチャにおいて、不均一かつ非効率なトレーニングの原因をいくつか特定し、修正する。 この哲学の体系的な応用は、観測されたドリフトと不均衡を排除し、同じ計算複雑性でネットワークをかなり良くする。
  論文  参考訳（メタデータ） (2023-12-05T11:55:47Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• Training Efficient CNNS: Tweaking the Nuts and Bolts of Neural Networks for Lighter, Faster and Robust Models [0.0]
  トレーニングパラメータ数を逐次減少させることで,効率的な深層畳み込みネットワークを段階的に構築する方法を実証する。 我々は、MNISTのデータに対して、わずか1500のパラメータで99.2%のSOTA精度と、CIFAR-10データセットで140K以上のパラメータで86.01%の精度を達成した。
  論文  参考訳（メタデータ） (2022-05-23T13:51:06Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• A Survey on Impact of Transient Faults on BNN Inference Accelerators [0.9667631210393929]
  ビッグデータブームにより、非常に大きなデータセットへのアクセスと分析が容易になります。 ディープラーニングモデルは、計算能力と極めて高いメモリアクセスを必要とする。 本研究では,ソフトエラーが独自の深層学習アルゴリズムに与える影響が画像の劇的な誤分類を引き起こす可能性を実証した。
  論文  参考訳（メタデータ） (2020-04-10T16:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。