論文の概要: What Variables Affect Out-Of-Distribution Generalization in Pretrained Models?

• arxiv url: http://arxiv.org/abs/2405.15018v1
• Date: Thu, 23 May 2024 19:43:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 19:17:31.671697
• Title: What Variables Affect Out-Of-Distribution Generalization in Pretrained Models?
• Title（参考訳）: 事前学習モデルにおける外部分布の一般化にどのような影響があるか?
• Authors: Md Yousuf Harun, Kyungbok Lee, Jhair Gallardo, Giri Krishnan, Christopher Kanan,
• Abstract要約: トレーニング済みのディープニューラルネットワーク(DNN)によって生成された埋め込みは広く使用されているが、下流タスクに対する効果は様々である。 トンネル効果仮説のレンズによるプレトレーニングDNN埋め込みの分布外一般化に影響を与える要因について検討した。
• 参考スコア（独自算出の注目度）: 15.047920317548128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embeddings produced by pre-trained deep neural networks (DNNs) are widely used; however, their efficacy for downstream tasks can vary widely. We study the factors influencing out-of-distribution (OOD) generalization of pre-trained DNN embeddings through the lens of the tunnel effect hypothesis, which suggests deeper DNN layers compress representations and hinder OOD performance. Contrary to earlier work, we find the tunnel effect is not universal. Based on 10,584 linear probes, we study the conditions that mitigate the tunnel effect by varying DNN architecture, training dataset, image resolution, and augmentations. We quantify each variable's impact using a novel SHAP analysis. Our results emphasize the danger of generalizing findings from toy datasets to broader contexts.
• Abstract（参考訳）: トレーニング済みのディープニューラルネットワーク(DNN)によって生成される埋め込みは広く使用されているが、下流タスクに対する効果は様々である。 トンネル効果仮説のレンズによるプレトレーニングDNN埋め込みのアウト・オブ・ディストリビューション(OOD)一般化に影響を与える要因について検討し,より深いDNN層が表現を圧縮し,OOD性能を妨げることを示唆した。 初期の研究とは対照的に、トンネル効果は普遍的ではない。 10,584個の線形プローブに基づいて,DNNアーキテクチャ,トレーニングデータセット,画像解像度,拡張によるトンネル効果を緩和する条件について検討した。 我々は,新しいSHAP解析を用いて各変数の影響を定量化する。 研究結果は,おもちゃのデータセットからより広い文脈への発見を一般化する危険性を強調した。

関連論文リスト

• Causal inference through multi-stage learning and doubly robust deep neural networks [10.021381302215062]
  ディープニューラルネットワーク(DNN)は、大規模教師付き学習問題において顕著な経験的性能を示した。 本研究は、複雑な因果推論タスクの幅広い範囲にわたるDNNの適用について検討する。
  論文  参考訳（メタデータ） (2024-07-11T14:47:44Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Not So Robust After All: Evaluating the Robustness of Deep Neural Networks to Unseen Adversarial Attacks [5.024667090792856]
  ディープニューラルネットワーク(DNN)は、分類、認識、予測など、さまざまなアプリケーションで注目を集めている。 従来のDNNの基本的属性は、入力データの修正に対する脆弱性である。 本研究の目的は、敵攻撃に対する現代の防御機構の有効性と一般化に挑戦することである。
  論文  参考訳（メタデータ） (2023-08-12T05:21:34Z)
• SAfER: Layer-Level Sensitivity Assessment for Efficient and Robust Neural Network Inference [20.564198591600647]
  ディープニューラルネットワーク(DNN)は、ほとんどのコンピュータビジョンタスクにおいて優れたパフォーマンスを示す。 自律運転や医療画像などの重要な応用には、その行動の調査も必要である。 DNNの属性は、DNNの予測と入力の関係を研究することである。
  論文  参考訳（メタデータ） (2023-08-09T07:45:51Z)
• Towards Learning and Explaining Indirect Causal Effects in Neural Networks [22.658383399117003]
  NNを構造因果モデル(Structuor causal model, SCM)とみなし、入力ニューロン間にフィードフォワード接続を導入することで間接因果効果を含むように焦点を絞る。 NNモデルトレーニング中の直接的・間接的・総因果効果を捕捉・維持するアンテホック法を提案する。 また,NNモデルにおける学習因果効果の定量化アルゴリズムと,高次元データにおける因果効果の定量化のための効率的な近似手法を提案する。
  論文  参考訳（メタデータ） (2023-03-24T08:17:31Z)
• Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
  Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。 IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。 OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
  論文  参考訳（メタデータ） (2022-05-30T15:40:33Z)
• HYDRA: Hypergradient Data Relevance Analysis for Interpreting Deep Neural Networks [51.143054943431665]
  本稿では、深層ニューラルネットワーク(DNN)による予測をトレーニングデータの効果として解釈する高次データ関連分析(HYDRA)を提案する。 HYDRAは、トレーニング軌跡全体を通して、テストデータポイントに対するトレーニングデータの貢献を評価する。 さらに,HyDRAは,データのコントリビューションを正確に推定し,ノイズのあるデータラベルを検出することで,影響関数よりも優れていることを定量的に示す。
  論文  参考訳（メタデータ） (2021-02-04T10:00:13Z)
• Examining the causal structures of deep neural networks using information theory [0.0]
  ディープニューラルネットワーク(DNN)は、ノードとデータセット間の相互情報を解析するなど、入力に対する応答のレベルでしばしば検討される。 DNNは因果関係のレベルで調べて、ネットワーク自体のレイヤ内で"何をするのか"を探ることもできる。 本稿では,学習中のDNNの因果構造の変化を定量化し,追跡するための情報理論に基づくメトリクススイートを紹介する。
  論文  参考訳（メタデータ） (2020-10-26T19:53:16Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• Network Moments: Extensions and Sparse-Smooth Attacks [59.24080620535988]
  ガウス入力を受ける小片方向線形(PL)ネットワーク(Affine,ReLU,Affine)の第1モーメントと第2モーメントの正確な解析式を導出する。 本研究では,新しい分散式を効率的に近似し,より厳密な分散推定を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-21T11:36:41Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。