論文の概要: Representing Input Transformations by Low-Dimensional Parameter
Subspaces
- arxiv url: http://arxiv.org/abs/2305.13536v1
- Date: Mon, 22 May 2023 23:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 20:11:08.261210
- Title: Representing Input Transformations by Low-Dimensional Parameter
Subspaces
- Title(参考訳): 低次元パラメータ部分空間による入力変換の表現
- Authors: Olga Saukh, Dong Wang, Xiaoxi He, Lothar Thiele
- Abstract要約: 深層モデルには、回転、スケーリング、変換といった単純な入力変換に対する堅牢性がない。
本稿では,パラメータ化連続変換に最適なモデルウェイトを低次元線形部分空間に配置できるという構成部分空間仮説を提唱する。
我々の発見は、特に限られたストレージと計算資源がかかっている場合に、効率的なモデル再構成を可能にする。
- 参考スコア(独自算出の注目度): 14.668553177197097
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep models lack robustness to simple input transformations such as rotation,
scaling, and translation, unless they feature a particular invariant
architecture or undergo specific training, e.g., learning the desired
robustness from data augmentations. Alternatively, input transformations can be
treated as a domain shift problem, and solved by post-deployment model
adaptation. Although a large number of methods deal with transformed inputs,
the fundamental relation between input transformations and optimal model
weights is unknown. In this paper, we put forward the configuration subspace
hypothesis that model weights optimal for parameterized continuous
transformations can reside in low-dimensional linear subspaces. We introduce
subspace-configurable networks to learn these subspaces and observe their
structure and surprisingly low dimensionality on all tested transformations,
datasets and architectures from computer vision and audio signal processing
domains. Our findings enable efficient model reconfiguration, especially when
limited storage and computing resources are at stake.
- Abstract(参考訳): 深層モデルは、特定の不変アーキテクチャを実装したり、データ拡張から所望のロバスト性を学ぶ特定のトレーニングを受けない限り、ローテーション、スケーリング、変換といった単純な入力変換に対する堅牢性に欠ける。
あるいは、入力変換はドメインシフト問題として扱われ、デプロイ後のモデル適応によって解決される。
多くの手法が変換入力を扱うが、入力変換と最適モデル重み付けの基本的な関係は分かっていない。
本稿では,パラメータ化連続変換に最適なモデルウェイトを低次元線形部分空間に配置できるという構成部分空間仮説を提唱する。
我々は,これらの部分空間を学習し,その構造を観察し,コンピュータビジョンや音声信号処理領域から,すべてのテストされた変換,データセット,アーキテクチャについて驚くほど低次元性を実現するために,サブスペース構成可能なネットワークを導入する。
特にストレージとコンピューティングリソースが限られている場合には,効率的なモデル再構成が可能となる。
関連論文リスト
- Efficient Model Adaptation for Continual Learning at the Edge [15.334881190102895]
ほとんどの機械学習(ML)システムは、トレーニングとデプロイメントの間、定常的で一致したデータ分散を前提としている。
データ分布は、環境要因、センサー特性、タスク・オブ・関心などの変化により、時間とともに変化することが多い。
本稿では,ドメインシフト下での効率的な連続学習のためのアダプタ・リコンフィグレータ(EAR)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T23:55:17Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - RENs: Relevance Encoding Networks [0.0]
本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。
提案モデルは,サンプルの表現や生成品質を損なうことなく,関連性のあるボトルネック次元を学習することを示す。
論文 参考訳(メタデータ) (2022-05-25T21:53:48Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳(メタデータ) (2021-08-09T08:45:47Z) - Training or Architecture? How to Incorporate Invariance in Neural
Networks [14.162739081163444]
本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変化する手法を提案する。
簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。
このような手法の特性を解析し、等変ネットワークに拡張し、その利点を頑健さと計算効率の両面からいくつかの数値例で示す。
論文 参考訳(メタデータ) (2021-06-18T10:31:00Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳(メタデータ) (2021-01-12T20:08:18Z) - ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework
for LiDAR Point Cloud Segmentation [111.56730703473411]
LiDARデータ上でディープニューラルネットワーク(DNN)をトレーニングするには、大規模なポイントワイドアノテーションが必要である。
シミュレーション・トゥ・リアル・ドメイン適応(SRDA)は、DNNを無制限の合成データと自動生成されたラベルで訓練する。
ePointDAは、自己教師付きドロップアウトノイズレンダリング、統計不変および空間適応型特徴アライメント、転送可能なセグメンテーション学習の3つのモジュールで構成されている。
論文 参考訳(メタデータ) (2020-09-07T23:46:08Z) - DANA: Dimension-Adaptive Neural Architecture for Multivariate Sensor
Data [37.01965391878387]
ウェアラブルやモバイルデバイスに埋め込まれたモーションセンサーは、センサストリームとサンプリングレートの動的選択を可能にする。
ディープニューラルネットワーク(DNN)は、一定のサンプリングレートで、固定されたセンサーセットからの入力データを処理します。
センサの可利用性やサンプリング率の変化に対して,DNNを柔軟かつ堅牢にするための次元適応型プーリング層を導入する。
論文 参考訳(メタデータ) (2020-08-05T23:42:03Z) - On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。
現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。
トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-07-16T18:39:04Z) - Ensembled sparse-input hierarchical networks for high-dimensional
datasets [8.629912408966145]
サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。
提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。
EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
論文 参考訳(メタデータ) (2020-05-11T02:08:53Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳(メタデータ) (2020-04-08T10:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。