論文の概要: Limitations of Post-Hoc Feature Alignment for Robustness

• arxiv url: http://arxiv.org/abs/2103.05898v1
• Date: Wed, 10 Mar 2021 06:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 15:08:42.282168
• Title: Limitations of Post-Hoc Feature Alignment for Robustness
• Title（参考訳）: ロバスト性に対するポストホック特徴アライメントの限界
• Authors: Collin Burns and Jacob Steinhardt
• Abstract要約: 分布シフトに対するロバスト性を改善する効果的なアプローチは、訓練されたニューラルネットワークにおける2つの分布間のバッチ正規化統計を調整することである。 分散シフトの狭いセットでのみ有意に役立つことを示し、パフォーマンスを低下させるいくつかの設定を特定します。 私たちの調査結果は、このアプローチとUnsupervised Domain Adaptationの有用性を疑問に思っています。
• 参考スコア（独自算出の注目度）: 9.800785169724273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature alignment is an approach to improving robustness to distribution shift that matches the distribution of feature activations between the training distribution and test distribution. A particularly simple but effective approach to feature alignment involves aligning the batch normalization statistics between the two distributions in a trained neural network. This technique has received renewed interest lately because of its impressive performance on robustness benchmarks. However, when and why this method works is not well understood. We investigate the approach in more detail and identify several limitations. We show that it only significantly helps with a narrow set of distribution shifts and we identify several settings in which it even degrades performance. We also explain why these limitations arise by pinpointing why this approach can be so effective in the first place. Our findings call into question the utility of this approach and Unsupervised Domain Adaptation more broadly for improving robustness in practice.
• Abstract（参考訳）: 機能アライメントは、トレーニング配信とテスト配信の間の機能アクティベーションの分布と一致する分散シフトへの堅牢性を改善するアプローチです。 機能アライメントに対する特に単純だが効果的なアプローチは、訓練されたニューラルネットワーク内の2つの分布間のバッチ正規化統計を調整することである。 このテクニックは最近、ロバスト性ベンチマークのパフォーマンスが素晴らしいため、新たな関心を集めている。 しかし、いつ、なぜこの方法が機能するのかはよく分かっていない。 アプローチをより詳細に調査し、いくつかの制限を特定します。 分散シフトの狭いセットでのみ有意に役立つことを示し、パフォーマンスを低下させるいくつかの設定を特定します。 また,このような制約が発生する理由として,そもそもこのアプローチが効果的である理由を指摘する。 私たちの調査結果は、このアプローチとUnsupervised Domain Adaptationの有用性を疑問に思っています。

関連論文リスト

• Improving Point-based Crowd Counting and Localization Based on Auxiliary Point Guidance [59.71186244597394]
  本稿では,提案手法における提案対象マッチングの安定化に有効な手法を提案する。 本稿では,提案手法の選択と最適化のために,Auxiliary Point Guidance (APG)を提案する。 また,多様な群集シナリオにおける適応的特徴抽出を可能にするために,IFI(Implicit Feature Interpolation)を開発した。
  論文  参考訳（メタデータ） (2024-05-17T07:23:27Z)
• Robust Networked Federated Learning for Localization [7.332862402432447]
  本稿では,データを複数のデバイスに分散するフェデレーション環境での非滑らかな近似問題に対処する。 本稿では,分散サブグラディエントフレームワークにおけるロバストな定式化を,これらの障害に対処するために明示的に設計した,$L_$-normを採用する手法を提案する。
  論文  参考訳（メタデータ） (2023-08-31T13:54:37Z)
• Revisiting Modality Imbalance In Multimodal Pedestrian Detection [6.7841188753203046]
  本稿では,マルチモーダルアーキテクチャにおける正規化器を用いた新しいトレーニング構成を導入し,モーダル間の相違を解消する。 具体的には,2つの特徴抽出器を訓練中に同等に重要視することにより,特徴融合法をより堅牢にすることを支援する。
  論文  参考訳（メタデータ） (2023-02-24T11:56:57Z)
• Multi-View Knowledge Distillation from Crowd Annotations for Out-of-Domain Generalization [53.24606510691877]
  本稿では,既存の手法による分布を集約することで,クラウドアノテーションからソフトラベルを取得する新しい手法を提案する。 これらのアグリゲーション手法は、ドメイン外テストセット上の4つのNLPタスクにおいて、最も一貫したパフォーマンスをもたらすことを実証する。
  論文  参考訳（メタデータ） (2022-12-19T12:40:18Z)
• Towards In-distribution Compatibility in Out-of-distribution Detection [30.49191281345763]
  本稿では,深層モデルの上位設計と損失関数の両方を適応させることにより,新しい分布外検出法を提案する。 本手法は,最先端の分布検出性能を実現するとともに,分布内精度も向上する。
  論文  参考訳（メタデータ） (2022-08-29T09:06:15Z)
• Time to Focus: A Comprehensive Benchmark Using Time Series Attribution Methods [4.9449660544238085]
  本論文は時系列解析といくつかの最先端属性手法のベンチマークに焦点をあてる。 本実験では, 勾配および摂動に基づく帰属法について検討した。 その結果,最も適した帰属法を選択することは,所望のユースケースと強く相関していることが示唆された。
  論文  参考訳（メタデータ） (2022-02-08T10:06:13Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• The Single-Noun Prior for Image Clustering [34.97652735163338]
  近年,自己教師付きクラスタリング手法は精度の向上を図っているが,教師付き分類法のようには機能していない。 先述の"single-noun"は、セマンティッククラスタは、人間が単一名詞でラベル付けする概念に対応する傾向がある、と述べている。 本稿では,施設配置問題の特別な場合として,この最適化タスクを大規模に解くための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-04-08T17:54:37Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。