論文の概要: Improving Translation Invariance in Convolutional Neural Networks with Peripheral Prediction Padding

• arxiv url: http://arxiv.org/abs/2307.07725v1
• Date: Sat, 15 Jul 2023 06:44:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 18:06:02.805305
• Title: Improving Translation Invariance in Convolutional Neural Networks with Peripheral Prediction Padding
• Title（参考訳）: 周辺予測パディングを用いた畳み込みニューラルネットワークの翻訳不変性の改善
• Authors: Kensuke Mukai and Takao Yamanaka
• Abstract要約: ゼロパディングは畳み込みニューラルネットワークでしばしば使われ、各層で特徴マップのサイズが減少するのを防ぐ。 近年の研究では、ゼロパディングは絶対位置情報の符号化を促進することが示されており、これはタスクの性能に悪影響を及ぼす可能性がある。 本研究では, 周辺予測パディング法 (PP-Pad) と呼ばれる新しいパディング手法を提案し, ゼロパディングではなく, 各タスクに適したパディング値のエンドツーエンドトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero padding is often used in convolutional neural networks to prevent the feature map size from decreasing with each layer. However, recent studies have shown that zero padding promotes encoding of absolute positional information, which may adversely affect the performance of some tasks. In this work, a novel padding method called Peripheral Prediction Padding (PP-Pad) method is proposed, which enables end-to-end training of padding values suitable for each task instead of zero padding. Moreover, novel metrics to quantitatively evaluate the translation invariance of the model are presented. By evaluating with these metrics, it was confirmed that the proposed method achieved higher accuracy and translation invariance than the previous methods in a semantic segmentation task.
• Abstract（参考訳）: ゼロパディングは畳み込みニューラルネットワークにおいて、各層で特徴マップのサイズが小さくなるのを防ぐためにしばしば使用される。 しかし、最近の研究では、ゼロパディングは絶対位置情報のエンコーディングを促進することが示されており、いくつかのタスクのパフォーマンスに悪影響を及ぼす可能性がある。 本研究では, 周辺予測パディング法 (PP-Pad) と呼ばれる新しいパディング手法を提案し, ゼロパディングではなく, 各タスクに適したパディング値のエンドツーエンドトレーニングを可能にする。 さらに、モデルの翻訳不変性を定量的に評価する新しい指標を示す。 これらの指標を用いて評価することにより,提案手法が従来の意味分節処理法よりも高い精度と翻訳不変性を達成したことを確認した。

関連論文リスト

• Tilt your Head: Activating the Hidden Spatial-Invariance of Classifiers [0.7704032792820767]
  ディープニューラルネットワークは、日々の生活の多くの領域に適用されている。 これらは、空間的に変換された入力信号に頑健に対処するなど、依然として必須の能力が欠如している。 本稿では,ニューラルネットの推論過程をエミュレートする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T09:47:29Z)
• Robust Non-parametric Knowledge-based Diffusion Least Mean Squares over Adaptive Networks [12.266804067030455]
  提案アルゴリズムは, 協調推定器群における未知パラメータベクトルのロバストな推定に導かれる。 その結果,異なるノイズの種類が存在する場合,提案アルゴリズムのロバスト性を示す。
  論文  参考訳（メタデータ） (2023-12-03T06:18:59Z)
• Pixel-wise Gradient Uncertainty for Convolutional Neural Networks applied to Out-of-Distribution Segmentation [0.43512163406552007]
  本稿では,推定時に効率よく計算できる画素単位の損失勾配から不確実点を求める手法を提案する。 本実験は,提案手法が誤った画素分類を識別し,無視可能な計算オーバーヘッドで予測品質を推定する能力を示す。
  論文  参考訳（メタデータ） (2023-03-13T08:37:59Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Autoregressive Belief Propagation for Decoding Block Codes [113.38181979662288]
  誤り訂正符号の復号化にグラフニューラルネットワークを用いた最近の手法を再検討する。 本手法は,他手法がゼロワードでのみ学習できる対称性条件に反する。 1つの単語でトレーニングする余地がなく、関連するサンプル空間のごく一部でトレーニングできないにもかかわらず、効果的なトレーニングを実演する。
  論文  参考訳（メタデータ） (2021-01-23T17:14:55Z)
• Interpretation of NLP models through input marginalization [28.031961925541466]
  入力の各トークンを消去した後の予測確率の変化を測定することによって予測を解釈する手法が提案されている。 既存のメソッドは、それぞれのトークンを予め定義された値(つまりゼロ)で置き換えるので、結果の文はトレーニングデータ分布から外れ、誤解を招く解釈をもたらす。 本研究では,既存の解釈手法によって引き起こされるアウト・オブ・ディストリビューション問題を提起し,その対策を提案する。 感情分析や自然言語推論のために訓練された様々なNLPモデルを,提案手法を用いて解釈する。
  論文  参考訳（メタデータ） (2020-10-27T01:40:41Z)
• Assessing Robustness of Text Classification through Maximal Safe Radius Computation [21.05890715709053]
  本研究の目的は,単語が同義語のような妥当な代替語に置き換えられた場合,モデル予測が変化しない保証を提供することである。 強靭性の尺度として、与えられた入力テキストに対して最大安全半径という概念を採用し、これは決定境界への埋め込み空間の最小距離である。 上界計算では,モンテカルロ木探索と構文フィルタリングを併用して,単語置換と単語置換の効果を解析する。
  論文  参考訳（メタデータ） (2020-10-01T09:46:32Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)
• Bayesian Bits: Unifying Quantization and Pruning [73.27732135853243]
  我々は、勾配に基づく最適化による混合精度量子化とプルーニングの実用的な方法であるBayesian Bitsを紹介する。 提案手法をいくつかのベンチマーク・データセット上で実験的に検証し,プレナード付き混合精度ネットワークを学習可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-14T16:00:34Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。