論文の概要: Set Based Stochastic Subsampling
- arxiv url: http://arxiv.org/abs/2006.14222v4
- Date: Mon, 30 May 2022 05:59:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 03:04:16.359094
- Title: Set Based Stochastic Subsampling
- Title(参考訳): 集合に基づく確率部分サンプリング
- Authors: Bruno Andreis, Seanie Lee, A. Tuan Nguyen, Juho Lee, Eunho Yang, Sung
Ju Hwang
- Abstract要約: 本稿では,2段階間ニューラルサブサンプリングモデルを提案する。
画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
- 参考スコア(独自算出の注目度): 85.5331107565578
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep models are designed to operate on huge volumes of high dimensional data
such as images. In order to reduce the volume of data these models must
process, we propose a set-based two-stage end-to-end neural subsampling model
that is jointly optimized with an \textit{arbitrary} downstream task network
(e.g. classifier). In the first stage, we efficiently subsample
\textit{candidate elements} using conditionally independent Bernoulli random
variables by capturing coarse grained global information using set encoding
functions, followed by conditionally dependent autoregressive subsampling of
the candidate elements using Categorical random variables by modeling pair-wise
interactions using set attention networks in the second stage. We apply our
method to feature and instance selection and show that it outperforms the
relevant baselines under low subsampling rates on a variety of tasks including
image classification, image reconstruction, function reconstruction and
few-shot classification. Additionally, for nonparametric models such as Neural
Processes that require to leverage the whole training data at inference time,
we show that our method enhances the scalability of these models.
- Abstract(参考訳): 深層モデルは、画像などの大量の高次元データを操作するように設計されている。
これらのモデルが処理しなければならないデータ量を削減するために, 下流タスクネットワーク(例えば分類器)で協調的に最適化された, セットベースの2段階間ニューラルネットワークモデルを提案する。
第1段階では、集合符号化関数を用いて粗粒度大域情報をキャプチャし、第2段階において設定された注目ネットワークを用いてペアワイズをモデル化し、カテゴリ的ランダム変数を用いて候補要素の条件依存自己回帰サブサンプリングを行う。
本手法を特徴量およびインスタンス選択に適用し,画像分類,画像再構成,機能再構成,少数ショット分類などのタスクにおいて,低サブサンプリング率で関連するベースラインを上回っていることを示す。
さらに,推定時にトレーニングデータ全体を活用する必要があるニューラルプロセスなどの非パラメトリックモデルに対して,本手法がモデルのスケーラビリティを向上させることを示す。
関連論文リスト
- Scaling and Masking: A New Paradigm of Data Sampling for Image and Video
Quality Assessment [24.545341041444797]
画像とビデオの品質評価は局所的な詳細とグローバルな意味の両方を強調するが、一般的なデータサンプリング手法はそれらを同時にキャッチできない。
本研究では,局所的および大域的コンテンツの両方を通常の入力サイズで圧縮する,よりエレガントなデータサンプリング手法を提案する。
実験により,本手法は,現在の単一ブランチモデルの性能を著しく向上し,余分なモデル複雑性を伴わないマルチブランチモデルに対する競合性能を実現することができることを示した。
論文 参考訳(メタデータ) (2024-01-05T03:12:03Z) - Generative Neural Fields by Mixtures of Neural Implicit Functions [43.27461391283186]
本稿では,暗黙的ベースネットワークの線形結合によって表現される生成的ニューラルネットワークを学習するための新しいアプローチを提案する。
提案アルゴリズムは,メタラーニングや自動デコーディングのパラダイムを採用することにより,暗黙のニューラルネットワーク表現とその係数を潜在空間で学習する。
論文 参考訳(メタデータ) (2023-10-30T11:41:41Z) - Latent Autoregressive Source Separation [5.871054749661012]
本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。
分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
論文 参考訳(メタデータ) (2023-01-09T17:32:00Z) - ClusTR: Exploring Efficient Self-attention via Clustering for Vision
Transformers [70.76313507550684]
本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。
具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。
結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
論文 参考訳(メタデータ) (2022-08-28T04:18:27Z) - FewGAN: Generating from the Joint Distribution of a Few Images [95.6635227371479]
本稿では,新しい,高品質で多様な画像を生成するための生成モデルFewGANを紹介する。
FewGANは、第1の粗いスケールで量子化を適用した階層的なパッチGANであり、その後、より微細なスケールで残った完全畳み込みGANのピラミッドが続く。
大規模な実験では、FewGANは定量的にも定性的にも基線より優れていることが示されている。
論文 参考訳(メタデータ) (2022-07-18T07:11:28Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳(メタデータ) (2022-03-23T12:52:49Z) - Random Ferns for Semantic Segmentation of PolSAR Images [0.0]
本稿では、Random Fernフレームワークを偏光合成開口レーダのセマンティックセグメンテーションに拡張する。
2つの異なる最適化戦略が提案されている。
実験により、より複雑なランダムフォレストモデルに似た結果が得られることが示された。
論文 参考訳(メタデータ) (2022-02-07T20:22:57Z) - Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating
Back-Propagation for Saliency Detection [54.98042023365694]
本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。
提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
論文 参考訳(メタデータ) (2020-07-23T18:47:36Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳(メタデータ) (2020-07-07T03:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。