論文の概要: OOD-Probe: A Neural Interpretation of Out-of-Domain Generalization

• arxiv url: http://arxiv.org/abs/2208.12352v1
• Date: Thu, 25 Aug 2022 21:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-29 13:12:46.153712
• Title: OOD-Probe: A Neural Interpretation of Out-of-Domain Generalization
• Title（参考訳）: OOD-Probe: ドメイン外一般化の神経解釈
• Authors: Zining Zhu, Soroosh Shahtalebi, Frank Rudzicz
• Abstract要約: 探索モジュールを用いて,OODシステムをより微細な粒度で評価するフレキシブルなフレームワークを提案する。 表現は常にドメインに関する情報をエンコードしている。 高い探索結果は、ドメインの一般化性能と相関し、OOD一般化システムの開発におけるさらなる方向性をもたらす。
• 参考スコア（独自算出の注目度）: 18.129450295108423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to generalize out-of-domain (OOD) is an important goal for deep neural network development, and researchers have proposed many high-performing OOD generalization methods from various foundations. While many OOD algorithms perform well in various scenarios, these systems are evaluated as ``black-boxes''. Instead, we propose a flexible framework that evaluates OOD systems with finer granularity using a probing module that predicts the originating domain from intermediate representations. We find that representations always encode some information about the domain. While the layerwise encoding patterns remain largely stable across different OOD algorithms, they vary across the datasets. For example, the information about rotation (on RotatedMNIST) is the most visible on the lower layers, while the information about style (on VLCS and PACS) is the most visible on the middle layers. In addition, the high probing results correlate to the domain generalization performances, leading to further directions in developing OOD generalization systems.
• Abstract（参考訳）: ドメイン外(OOD)を一般化する能力は、ディープニューラルネットワーク開発の重要な目標であり、研究者は様々な基礎から多くの高性能なOOD一般化手法を提案している。 多くのOODアルゴリズムは様々なシナリオでよく機能するが、これらのシステムは 'black-boxes'' として評価される。 そこで本研究では,中間表現から起点ドメインを予測する探索モジュールを用いて,OODシステムをより粒度で評価するフレキシブルフレームワークを提案する。 表現は常にドメインに関する情報をエンコードしている。 層単位での符号化パターンは、さまざまなOODアルゴリズムで大きく安定しているが、データセットによって異なる。 例えば、ローテーションに関する情報(RotatedMNIST)は下層が最も多く、スタイルに関する情報(VLCSやPACS)は中層が最も多く見える。 さらに、高い探索結果は領域一般化性能と相関し、OOD一般化システムの開発におけるさらなる方向性をもたらす。

関連論文リスト

• In Search of Forgotten Domain Generalization [20.26519807919284]
  Out-of-Domain (OOD) 一般化は、1つ以上のドメインでトレーニングされたモデルが見えないドメインに一般化する能力である。 コンピュータビジョンのImageNet時代において、モデルのOOD性能を測定するための評価セットは、スタイルに関して厳密にOODであるように設計されていた。 基礎モデルや拡張Webスケールデータセットの出現は、この評価プロセスを邪魔している。
  論文  参考訳（メタデータ） (2024-10-10T17:50:45Z)
• WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
  入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。 我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T13:38:28Z)
• Towards out-of-distribution generalization in large-scale astronomical surveys: robust networks learn similar representations [3.653721769378018]
  ニューラルネットワーク表現の類似度尺度である Centered Kernel Alignment (CKA) を用いて、表現類似度と性能の関係について検討する。 モデルが分散シフトに対して堅牢である場合、OODデータ上に層間でかなり異なる表現を生成することが分かりました。 本稿では,CKAを誘導バイアスとして取り入れることで,モデル設計,トレーニング戦略,OOD問題を緩和する上での類似性表現の可能性について論じる。
  論文  参考訳（メタデータ） (2023-11-29T19:00:05Z)
• From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
  アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。 近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。 グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
  論文  参考訳（メタデータ） (2023-08-20T11:56:25Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• OpenOOD: Benchmarking Generalized Out-of-Distribution Detection [60.13300701826931]
  アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠である。 この分野では現在、統一的で厳格に定式化され、包括的なベンチマークが欠けている。 関連フィールドで開発された30以上のメソッドを実装したOpenOODという,統一的で構造化されたシステムを構築します。
  論文  参考訳（メタデータ） (2022-10-13T17:59:57Z)
• Metric Learning and Adaptive Boundary for Out-of-Domain Detection [0.9236074230806579]
  我々はOODデータに依存しないOOD検出アルゴリズムを設計した。 提案アルゴリズムは,メトリック学習と適応的決定境界を併用する,シンプルだが効率的な手法に基づいている。 他のアルゴリズムと比較して,提案アルゴリズムでは,クラス数が少ないシナリオにおいて,OOD性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-04-22T17:54:55Z)
• Layer Adaptive Deep Neural Networks for Out-of-distribution Detection [14.385491722476036]
  ディープニューラルネットワーク(DNN)のための新しい層適応型OOD検出フレームワーク(LA-OOD)を提案する。 中間層で同時に複数のワンクラスSVM OOD検出器を訓練し、DNNの様々な深さで符号化された全スペクトル特性を利用する。 LA-OODはさまざまな複雑さを持つOODに対して堅牢であり、いくつかの実世界のデータセットに対して大きなマージンで最先端の競合より優れている。
  論文  参考訳（メタデータ） (2022-03-01T02:47:33Z)
• Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
  セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。 私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-03T17:09:56Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Probing Predictions on OOD Images via Nearest Categories [97.055916832257]
  ニューラルネットワークが未確認のクラスや破損したイメージから画像を分類する際のアウト・オブ・ディストリビューション(OOD)予測挙動について検討する。 我々は、トレーニングセットにおいて、最も近い隣人と同じラベルで分類されたOOD入力の分数を計算するため、新しい測度、最も近いカテゴリ一般化(NCG)を導入する。 我々は、OODデータがロバストネス半径よりも遥かに遠くにある場合でも、ロバストネットワークは自然訓練よりも一貫してNCG精度が高いことを発見した。
  論文  参考訳（メタデータ） (2020-11-17T07:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。