論文の概要: Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation

• arxiv url: http://arxiv.org/abs/2003.08866v4
• Date: Fri, 4 Sep 2020 07:40:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 04:33:37.936903
• Title: Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation
• Title（参考訳）: 確率的特徴サンプリングと補間による空間適応推論
• Authors: Zhenda Xie, Zheng Zhang, Xizhou Zhu, Gao Huang, Stephen Lin
• Abstract要約: スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
• 参考スコア（独自算出の注目度）: 72.40827239394565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the feature maps of CNNs, there commonly exists considerable spatial redundancy that leads to much repetitive processing. Towards reducing this superfluous computation, we propose to compute features only at sparsely sampled locations, which are probabilistically chosen according to activation responses, and then densely reconstruct the feature map with an efficient interpolation procedure. With this sampling-interpolation scheme, our network avoids expending computation on spatial locations that can be effectively interpolated, while being robust to activation prediction errors through broadly distributed sampling. A technical challenge of this sampling-based approach is that the binary decision variables for representing discrete sampling locations are non-differentiable, making them incompatible with backpropagation. To circumvent this issue, we make use of a reparameterization trick based on the Gumbel-Softmax distribution, with which backpropagation can iterate these variables towards binary values. The presented network is experimentally shown to save substantial computation while maintaining accuracy over a variety of computer vision tasks.
• Abstract（参考訳）: cnnの特徴マップでは、多くの繰り返し処理につながるかなりの空間的冗長性が存在する。 この過剰な計算を減らし,活性化応答に応じて確率的に選択されるスパースサンプリングされた場所のみの特徴を計算し,効率的な補間手順で特徴写像を密に再構築することを提案する。 このサンプリング補間方式により,広い分散サンプリングによるアクティベーション予測誤差に頑健でありながら,効果的に補間できる空間的位置の伸張計算を回避することができる。 このサンプリングベースのアプローチの技術的課題は、離散サンプリング位置を表すバイナリ決定変数が微分不可能であり、バックプロパゲーションと互換性がないことである。 この問題を回避するため、Gumbel-Softmax分布に基づく再パラメータ化手法を用いて、バックプロパゲーションによりこれらの変数をバイナリ値に反復することができる。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。

関連論文リスト

• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Network Embedding Using Sparse Approximations of Random Walks [2.676713226382288]
  本稿では,拡散ウェーブレットアルゴリズムの修正版により得られたネットワーク上での拡散過程のスパース近似を用いて,通勤時間に基づくネットワーク埋め込みの効率的な数値的実装を提案する。 本稿では,データクラスタリングとマルチラベル分類における本手法の有効性をいくつかの例で示し,その性能を効率と精度の観点から比較する。
  論文  参考訳（メタデータ） (2023-08-25T20:35:45Z)
• Efficient Large-scale Nonstationary Spatial Covariance Function Estimation Using Convolutional Neural Networks [3.5455896230714194]
  非定常データからサブリージョンを導出するためにConvNetsを使用します。 定常場に類似した振る舞いを示す部分領域を同定するために選択機構を用いる。 提案手法の性能を大規模に評価する。
  論文  参考訳（メタデータ） (2023-06-20T12:17:46Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Learning Structured Gaussians to Approximate Deep Ensembles [10.055143995729415]
  本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。 正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。 単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
  論文  参考訳（メタデータ） (2022-03-29T12:34:43Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Decentralised Learning with Random Features and Distributed Gradient Descent [39.00450514924611]
  本研究では,不規則な正規化とランダムな特徴を持つ分散グラディエントDescentの均質な環境下での一般化性能について検討する。 ステップサイズ,繰り返し回数,通信行列の逆スペクトルギャップ,ランダム特徴数の関数として,各エージェントの予測性能に高い確率境界を確立する。 本稿では,ランダムな特徴数,イテレーション数,サンプル数が予測性能に与える影響をシミュレーションで示す。
  論文  参考訳（メタデータ） (2020-07-01T09:55:09Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。