論文の概要: What Variables Affect Out-of-Distribution Generalization in Pretrained Models?

• arxiv url: http://arxiv.org/abs/2405.15018v3
• Date: Fri, 25 Oct 2024 14:14:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:35:28.003726
• Title: What Variables Affect Out-of-Distribution Generalization in Pretrained Models?
• Title（参考訳）: 事前学習モデルにおけるアウト・オブ・ディストリビューションの一般化に影響を与える変数は何か?
• Authors: Md Yousuf Harun, Kyungbok Lee, Jhair Gallardo, Giri Krishnan, Christopher Kanan,
• Abstract要約: トレーニング済みのディープニューラルネットワーク(DNN)によって生成された埋め込みは広く使用されているが、下流タスクに対する効果は様々である。 プレトレーニングDNN埋め込みの伝達性および分布外一般化に影響を与える要因について検討した。
• 参考スコア（独自算出の注目度）: 15.047920317548128
• License:
• Abstract: Embeddings produced by pre-trained deep neural networks (DNNs) are widely used; however, their efficacy for downstream tasks can vary widely. We study the factors influencing transferability and out-of-distribution (OOD) generalization of pre-trained DNN embeddings through the lens of the tunnel effect hypothesis, which is closely related to intermediate neural collapse. This hypothesis suggests that deeper DNN layers compress representations and hinder OOD generalization. Contrary to earlier work, our experiments show this is not a universal phenomenon. We comprehensively investigate the impact of DNN architecture, training data, image resolution, and augmentations on transferability. We identify that training with high-resolution datasets containing many classes greatly reduces representation compression and improves transferability. Our results emphasize the danger of generalizing findings from toy datasets to broader contexts.
• Abstract（参考訳）: トレーニング済みのディープニューラルネットワーク(DNN)によって生成される埋め込みは広く使用されているが、下流タスクに対する効果は様々である。 トンネル効果仮説のレンズを通したプレトレーニングDNN埋め込みの伝達性およびアウト・オブ・ディストリビューション(OOD)一般化に影響を与える要因について検討した。 この仮説は、より深いDNN層が表現を圧縮し、OOD一般化を妨げることを示唆している。 以前の研究とは対照的に、我々の実験は、これは普遍的な現象ではないことを示した。 DNNアーキテクチャ、トレーニングデータ、画像解像度、拡張性への影響を包括的に調査する。 多くのクラスを含む高解像度データセットによるトレーニングは、表現圧縮を大幅に減らし、転送性を向上させる。 研究結果は,おもちゃのデータセットからより広い文脈への発見を一般化する危険性を強調した。

関連論文リスト

• Causal inference through multi-stage learning and doubly robust deep neural networks [10.021381302215062]
  ディープニューラルネットワーク(DNN)は、大規模教師付き学習問題において顕著な経験的性能を示した。 本研究は、複雑な因果推論タスクの幅広い範囲にわたるDNNの適用について検討する。
  論文  参考訳（メタデータ） (2024-07-11T14:47:44Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Common Knowledge Learning for Generating Transferable Adversarial Examples [60.1287733223249]
  本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。 既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。 本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-01T09:07:12Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
  ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。 目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。 また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-20T20:26:23Z)
• Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
  Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。 IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。 OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
  論文  参考訳（メタデータ） (2022-05-30T15:40:33Z)
• Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization [0.0]
  画像の背景の特徴は、背景バイアスを表す画像のクラスと飛躍的に相関する。 標準的な評価データセットでうまく機能するが、現実のデータにはあまり一般化しないディープニューラルネットワーク(DNN)。 本研究では, LRPヒートマップの最適化により, 背景バイアスの影響を最小限に抑えることができることを示す。
  論文  参考訳（メタデータ） (2022-02-01T05:58:01Z)
• With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
  ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。 初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。 より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
  論文  参考訳（メタデータ） (2022-01-28T05:26:32Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Examining the causal structures of deep neural networks using information theory [0.0]
  ディープニューラルネットワーク(DNN)は、ノードとデータセット間の相互情報を解析するなど、入力に対する応答のレベルでしばしば検討される。 DNNは因果関係のレベルで調べて、ネットワーク自体のレイヤ内で"何をするのか"を探ることもできる。 本稿では,学習中のDNNの因果構造の変化を定量化し,追跡するための情報理論に基づくメトリクススイートを紹介する。
  論文  参考訳（メタデータ） (2020-10-26T19:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。