論文の概要: Learning Invariant Representations with a Nonparametric Nadaraya-Watson Head

• arxiv url: http://arxiv.org/abs/2309.13377v1
• Date: Sat, 23 Sep 2023 13:46:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 20:23:56.617676
• Title: Learning Invariant Representations with a Nonparametric Nadaraya-Watson Head
• Title（参考訳）: 非パラメトリックなNadaraya-Watsonヘッドによる不変表現の学習
• Authors: Alan Q. Wang, Minh Nguyen, Mert R. Sabuncu
• Abstract要約: 本稿では,最近提案されたNadaraya-Watson(NW)ヘッドに基づいて,不変表現を学習するための非パラメトリック戦略を提案する。 サポートセットを操作することで、異なる因果仮定をエンコードできることを実証する。 特に、サポートセットをひとつの環境に制限することは、環境に依存しない不変の機能を学ぶことをモデルに促す。
• 参考スコア（独自算出の注目度）: 8.40704222803588
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Machine learning models will often fail when deployed in an environment with a data distribution that is different than the training distribution. When multiple environments are available during training, many methods exist that learn representations which are invariant across the different distributions, with the hope that these representations will be transportable to unseen domains. In this work, we present a nonparametric strategy for learning invariant representations based on the recently-proposed Nadaraya-Watson (NW) head. The NW head makes a prediction by comparing the learned representations of the query to the elements of a support set that consists of labeled data. We demonstrate that by manipulating the support set, one can encode different causal assumptions. In particular, restricting the support set to a single environment encourages the model to learn invariant features that do not depend on the environment. We present a causally-motivated setup for our modeling and training strategy and validate on three challenging real-world domain generalization tasks in computer vision.
• Abstract（参考訳）: 機械学習モデルは、トレーニングディストリビューションとは異なるデータ分散を備えた環境にデプロイされると、しばしば失敗する。 トレーニング中に複数の環境が利用できる場合、異なるディストリビューション間で不変な表現を学習する多くの方法が存在し、これらの表現が目に見えないドメインに転送できることを期待している。 本研究では,最近発表されたnadaraya-watson (nw) ヘッドに基づく不変表現を学習するための非パラメトリック戦略を提案する。 NWヘッドは、学習したクエリの表現とラベル付きデータからなるサポートセットの要素を比較することで予測を行う。 サポートセットを操作することで、異なる因果仮定をエンコードできることを実証する。 特に、サポートセットをひとつの環境に制限することは、環境に依存しない不変の機能を学ぶことをモデルに促す。 我々は、モデリングとトレーニング戦略の因果的動機づけによる設定を示し、コンピュータビジョンにおける3つの挑戦的な実世界のドメイン一般化タスクを検証する。

関連論文リスト

• Fairness Hub Technical Briefs: Definition and Detection of Distribution Shift [0.5825410941577593]
  分散シフトは機械学習タスクにおいて一般的な状況であり、モデルのトレーニングに使用されるデータは、モデルが現実世界に適用されるデータとは異なる。 本稿では,教育環境における分布変化の定義と検出に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-23T05:29:36Z)
• Class Distribution Shifts in Zero-Shot Learning: Learning Robust Representations [3.8980564330208662]
  本研究では,前もって変化の原因となる属性が不明であると仮定したモデルを提案し,解析する。 提案アルゴリズムは,実世界のデータセット上でのシミュレーションと実験の両方において,多様なクラス分布への一般化を改善する。
  論文  参考訳（メタデータ） (2023-11-30T14:14:31Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Self-supervised learning of Split Invariant Equivariant representations [0.0]
  55以上の3Dモデルと250万以上の画像からなる3DIEBenchを導入し、オブジェクトに適用される変換を完全に制御する。 我々はハイパーネットワークに基づく予測アーキテクチャを導入し、不変表現を非分散に分解することなく学習する。 SIE(Split Invariant-Equivariant)を導入し、よりリッチな表現を学ぶために、ハイパーネットワークベースの予測器と表現を2つの部分に分割する。
  論文  参考訳（メタデータ） (2023-02-14T07:53:18Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Unsupervised Learning of Group Invariant and Equivariant Representations [10.252723257176566]
  グループ不変および同変表現学習を教師なし深層学習の分野に拡張する。 本稿では,エンコーダ・デコーダ・フレームワークに基づく一般学習戦略を提案する。このフレームワークでは,潜在表現を不変項と同変群アクション成分で分離する。 鍵となる考え方は、ネットワークがグループ不変表現にデータをエンコードしてデコードすることを学習し、さらに適切なグループ動作を予測して、入力と出力のポーズを調整して再構成タスクを解決することである。
  論文  参考訳（メタデータ） (2022-02-15T16:44:21Z)
• Invariance Through Inference [10.102674614861654]
  Invariance through Inferenceと呼ばれる一般的なアプローチを導入し、デプロイ環境におけるエージェントのテスト時間性能を改善する。 このアイデアは,デプロイメントタイムの報奨を受けることなく,さまざまな適応シナリオを驚くほど改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T23:26:12Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Few-Shot Learning as Domain Adaptation: Algorithm and Analysis [120.75020271706978]
  わずかながらの学習は、目に見えないクラスを認識するために、目に見えないクラスから学んだ事前知識を使用する。 このクラス差による分布シフトは、ドメインシフトの特別なケースとみなすことができる。 メタラーニングフレームワークにおいて、そのようなドメインシフト問題に明示的に対処するために、注意を向けたプロトタイプドメイン適応ネットワーク(DAPNA)を提案する。
  論文  参考訳（メタデータ） (2020-02-06T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。