論文の概要: Patch-level Neighborhood Interpolation: A General and Effective Graph-based Regularization Strategy

• arxiv url: http://arxiv.org/abs/1911.09307v3
• Date: Sun, 22 Oct 2023 23:32:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 15:29:51.259447
• Title: Patch-level Neighborhood Interpolation: A General and Effective Graph-based Regularization Strategy
• Title（参考訳）: パッチレベル近傍補間:一般的なグラフベース正規化戦略
• Authors: Ke Sun, Bing Yu, Zhouchen Lin, Zhanxing Zhu
• Abstract要約: 我々は、ネットワークの計算において非局所的な表現を行うtextbfPatch-level Neighborhood Interpolation(Pani)と呼ばれる一般的な正規化器を提案する。 提案手法は,異なる層にパッチレベルグラフを明示的に構築し,その近傍のパッチ特徴を線形に補間し,汎用的で効果的な正規化戦略として機能する。
• 参考スコア（独自算出の注目度）: 77.34280933613226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization plays a crucial role in machine learning models, especially for deep neural networks. The existing regularization techniques mainly rely on the i.i.d. assumption and only consider the knowledge from the current sample, without the leverage of the neighboring relationship between samples. In this work, we propose a general regularizer called \textbf{Patch-level Neighborhood Interpolation~(Pani)} that conducts a non-local representation in the computation of networks. Our proposal explicitly constructs patch-level graphs in different layers and then linearly interpolates neighborhood patch features, serving as a general and effective regularization strategy. Further, we customize our approach into two kinds of popular regularization methods, namely Virtual Adversarial Training (VAT) and MixUp as well as its variants. The first derived \textbf{Pani VAT} presents a novel way to construct non-local adversarial smoothness by employing patch-level interpolated perturbations. The second derived \textbf{Pani MixUp} method extends the MixUp, and achieves superiority over MixUp and competitive performance over state-of-the-art variants of MixUp method with a significant advantage in computational efficiency. Extensive experiments have verified the effectiveness of our Pani approach in both supervised and semi-supervised settings.
• Abstract（参考訳）: 正規化は機械学習モデル、特にディープニューラルネットワークにおいて重要な役割を果たす。 既存の正規化技術は主にi.d.仮定に依存しており、サンプル間の隣り合う関係を活用することなく、現在のサンプルからの知識のみを考慮する。 本研究では,ネットワークの計算において非局所表現を行う一般正規化子 \textbf{patch-level neighborhood interpolation~(pani)}を提案する。 提案手法は,パッチレベルのグラフを異なるレイヤに明示的に構築し,近傍パッチの特徴を線形補間し,汎用的かつ効果的な正規化戦略として機能する。 さらに、我々のアプローチを、VAT(Virtual Adversarial Training)とMixUp(MixUp)という2種類の一般的な正規化手法にカスタマイズする。 最初に導出された \textbf{Pani VAT} はパッチレベルの補間摂動を用いて非局所対向滑らか性を構築する新しい方法を示す。 2番目の派生した \textbf{Pani MixUp} 法は MixUp を拡張し、MixUp よりも優れ、MixUp の最先端の変種よりも競争性能が優れ、計算効率に大きな利点がある。 広範囲にわたる実験により,paniアプローチの有効性が確認できた。

関連論文リスト

• Revisiting and Maximizing Temporal Knowledge in Semi-supervised Semantic Segmentation [7.005068872406135]
  平均教師と共同学習に基づくアプローチは、確認バイアスと結合問題を緩和するために用いられる。 これらのアプローチは、複雑なトレーニングパイプラインとかなりの計算負担を伴うことが多い。 本稿では,トレーニングプロセス中に得られた時間的知識を最大限活用することにより,制約を効果的に緩和するPrevMatchフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T03:54:59Z)
• ShuffleMix: Improving Representations via Channel-Wise Shuffle of Interpolated Hidden States [41.628854241259226]
  本稿では,ShuffleMix-Shuffle of Mixed hidden featuresを紹介する。 われわれのShuffleMix法は,特徴混在管理のためにランダムに選択された単純な線形シャッフル特徴チャネルを好んでいる。 直接競合と比較して、提案されたShuffleMixはより優れた一般化を得ることができる。
  論文  参考訳（メタデータ） (2023-05-30T01:53:34Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• Expeditious Saliency-guided Mix-up through Random Gradient Thresholding [89.59134648542042]
  混合学習アプローチはディープニューラルネットワークの一般化能力向上に有効であることが証明されている。 本稿では,両経路の分岐点に位置する新しい手法を提案する。 我々はR-Mixという手法を「Random Mix-up」という概念にちなむ。 より良い意思決定プロトコルが存在するかどうかという問題に対処するために、我々は、ミックスアップポリシーを決定する強化学習エージェントを訓練する。
  論文  参考訳（メタデータ） (2022-12-09T14:29:57Z)
• FIXED: Frustratingly Easy Domain Generalization with Mixup [53.782029033068675]
  ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。 一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。 我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。 提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
  論文  参考訳（メタデータ） (2022-11-07T09:38:34Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Improving Generalization in Reinforcement Learning with Mixture Regularization [113.12412071717078]
  そこで本研究では,異なるトレーニング環境からの観察を混合してエージェントを訓練する,mixregという簡単なアプローチを提案する。 Mixregはデータの多様性をより効果的に向上し、よりスムーズなポリシーを学ぶのに役立つ。 その結果、mixregは、未確認テスト環境において確立されたベースラインを大きなマージンで上回る結果となった。
  論文  参考訳（メタデータ） (2020-10-21T08:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。