論文の概要: Generalization in Neural Networks: A Broad Survey

• arxiv url: http://arxiv.org/abs/2209.01610v3
• Date: Wed, 31 Jul 2024 21:06:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-02 15:13:26.412079
• Title: Generalization in Neural Networks: A Broad Survey
• Title（参考訳）: ニューラルネットワークの一般化: 広範なサーベイ
• Authors: Chris Rohlfs,
• Abstract要約: 本稿では,ニューラルネットワークモデルの概念,モデリング手法,および最近の知見について,さまざまなレベルの抽象化レベルを用いて概説する。 1) トレーニングからテストデータへのサンプル一般化について論じる。 神経科学の概念は、脳のモジュラー構造と、ドーパミン駆動の条件付けが抽象的思考につながるステップについて論じられている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper reviews concepts, modeling approaches, and recent findings along a spectrum of different levels of abstraction of neural network models including generalization across (1) Samples, (2) Distributions, (3) Domains, (4) Tasks, (5) Modalities, and (6) Scopes. Strategies for (1) sample generalization from training to test data are discussed, with suggestive evidence presented that, at least for the ImageNet dataset, popular classification models show substantial overfitting. An empirical example and perspectives from statistics highlight how models' (2) distribution generalization can benefit from consideration of causal relationships and counterfactual scenarios. Transfer learning approaches and results for (3) domain generalization are summarized, as is the wealth of domain generalization benchmark datasets available. Recent breakthroughs surveyed in (4) task generalization include few-shot meta-learning approaches and the emergence of transformer-based foundation models such as those used for language processing. Studies performing (5) modality generalization are reviewed, including those that integrate image and text data and that apply a biologically-inspired network across olfactory, visual, and auditory modalities. Higher-level (6) scope generalization results are surveyed, including graph-based approaches to represent symbolic knowledge in networks and attribution strategies for improving networks' explainability. Additionally, concepts from neuroscience are discussed on the modular architecture of brains and the steps by which dopamine-driven conditioning leads to abstract thinking.
• Abstract（参考訳）: 本稿では,(1)サンプル,(2)分布,(3)ドメイン,(4)タスク,(5)モダリティ,(6)スコープの一般化を含む,ニューラルネットワークモデルのさまざまな抽象化レベルに関する概念,モデリングアプローチ,最近の知見についてレビューする。 1) トレーニングからテストデータへのサンプル一般化について考察し、少なくともImageNetデータセットでは、一般的な分類モデルにかなりのオーバーフィッティングがあることが示唆された。 統計学の実証的な例と視点は、(2)分布の一般化が因果関係や反事実シナリオの考慮からどのように恩恵を受けるかを示している。 (3)ドメイン一般化のための移行学習アプローチと結果が要約され、利用可能なドメイン一般化ベンチマークデータセットが豊富である。 (4)タスク一般化における最近のブレークスルーは, メタラーニングアプローチや, 言語処理に使用されるトランスフォーマーベース基盤モデルの出現などである。 画像とテキストデータを統合し、嗅覚、視覚、聴覚のモダリティに生物学的にインスパイアされたネットワークを適用することを含む、(5)モダリティの一般化を行う研究についてレビューする。 ネットワークにおける記号的知識を表現するグラフベースのアプローチや,ネットワークの説明可能性向上のための帰属戦略など,高レベル(6)スコープの一般化結果を調査した。 さらに、神経科学の概念は、脳のモジュラー構造と、ドーパミン駆動の条件付けが抽象的思考に繋がるステップについて論じられている。

関連論文リスト

• Domain Generalization through Meta-Learning: A Survey [6.524870790082051]
  ディープニューラルネットワーク(DNN)は人工知能に革命をもたらしたが、アウト・オブ・ディストリビューション(OOD)データに直面すると、しばしばパフォーマンスが低下する。 本調査はメタラーニングの領域を掘り下げ,ドメインの一般化への貢献に焦点をあてたものである。
  論文  参考訳（メタデータ） (2024-04-03T14:55:17Z)
• On Discprecncies between Perturbation Evaluations of Graph Neural Network Attributions [49.8110352174327]
  我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。 中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。 我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
  論文  参考訳（メタデータ） (2024-01-01T02:03:35Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• Predicting the generalization gap in neural networks using topological data analysis [33.511371257571504]
  トポロジカルデータ解析の手法を用いて,ニューラルネットワークの一般化ギャップについて検討する。 トレーニング後のニューロン活性化相関から構築した重み付きグラフのホモロジー永続図を計算する。 持続性図から異なる数値要約の有用性を比較し、それらの組み合わせによって、テストセットを必要とせずに、その一般化ギャップを正確に予測し、部分的に説明できることを示す。
  論文  参考訳（メタデータ） (2022-03-23T11:15:36Z)
• With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
  ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。 初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。 より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
  論文  参考訳（メタデータ） (2022-01-28T05:26:32Z)
• Network representation learning: A macro and micro view [9.221196170951702]
  本稿では,ネットワーク表現学習に関する最近の文献を包括的にレビューする。 既存のアルゴリズムは、浅い埋め込みモデル、異種ネットワーク埋め込みモデル、グラフニューラルネットワークベースモデルという3つのグループに分類される。 この調査の利点の1つは、アルゴリズムの異なるカテゴリの基礎となる理論的基礎を体系的に研究することである。
  論文  参考訳（メタデータ） (2021-11-21T08:58:51Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• A Survey of Community Detection Approaches: From Statistical Modeling to Deep Learning [95.27249880156256]
  ネットワークコミュニティファイリング手法の統一アーキテクチャを開発し,提案する。 既存の手法を確率的グラフィカルモデルとディープラーニングという2つのカテゴリに分けた新しい分類法を提案する。 フィールドの課題の議論と今後の研究の方向性の提案を締めくくります。
  論文  参考訳（メタデータ） (2021-01-03T02:32:45Z)
• CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems [121.78477833009671]
  データセット間設定下での様々な要約モデルの性能について検討する。 異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
  論文  参考訳（メタデータ） (2020-10-11T02:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。