論文の概要: Generalization in Neural Networks: A Broad Survey
- arxiv url: http://arxiv.org/abs/2209.01610v3
- Date: Wed, 31 Jul 2024 21:06:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-02 15:13:26.412079
- Title: Generalization in Neural Networks: A Broad Survey
- Title(参考訳): ニューラルネットワークの一般化: 広範なサーベイ
- Authors: Chris Rohlfs,
- Abstract要約: 本稿では,ニューラルネットワークモデルの概念,モデリング手法,および最近の知見について,さまざまなレベルの抽象化レベルを用いて概説する。
1) トレーニングからテストデータへのサンプル一般化について論じる。
神経科学の概念は、脳のモジュラー構造と、ドーパミン駆動の条件付けが抽象的思考につながるステップについて論じられている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper reviews concepts, modeling approaches, and recent findings along a spectrum of different levels of abstraction of neural network models including generalization across (1) Samples, (2) Distributions, (3) Domains, (4) Tasks, (5) Modalities, and (6) Scopes. Strategies for (1) sample generalization from training to test data are discussed, with suggestive evidence presented that, at least for the ImageNet dataset, popular classification models show substantial overfitting. An empirical example and perspectives from statistics highlight how models' (2) distribution generalization can benefit from consideration of causal relationships and counterfactual scenarios. Transfer learning approaches and results for (3) domain generalization are summarized, as is the wealth of domain generalization benchmark datasets available. Recent breakthroughs surveyed in (4) task generalization include few-shot meta-learning approaches and the emergence of transformer-based foundation models such as those used for language processing. Studies performing (5) modality generalization are reviewed, including those that integrate image and text data and that apply a biologically-inspired network across olfactory, visual, and auditory modalities. Higher-level (6) scope generalization results are surveyed, including graph-based approaches to represent symbolic knowledge in networks and attribution strategies for improving networks' explainability. Additionally, concepts from neuroscience are discussed on the modular architecture of brains and the steps by which dopamine-driven conditioning leads to abstract thinking.
- Abstract(参考訳): 本稿では,(1)サンプル,(2)分布,(3)ドメイン,(4)タスク,(5)モダリティ,(6)スコープの一般化を含む,ニューラルネットワークモデルのさまざまな抽象化レベルに関する概念,モデリングアプローチ,最近の知見についてレビューする。
1) トレーニングからテストデータへのサンプル一般化について考察し、少なくともImageNetデータセットでは、一般的な分類モデルにかなりのオーバーフィッティングがあることが示唆された。
統計学の実証的な例と視点は、(2)分布の一般化が因果関係や反事実シナリオの考慮からどのように恩恵を受けるかを示している。
(3)ドメイン一般化のための移行学習アプローチと結果が要約され、利用可能なドメイン一般化ベンチマークデータセットが豊富である。
(4)タスク一般化における最近のブレークスルーは, メタラーニングアプローチや, 言語処理に使用されるトランスフォーマーベース基盤モデルの出現などである。
画像とテキストデータを統合し、嗅覚、視覚、聴覚のモダリティに生物学的にインスパイアされたネットワークを適用することを含む、(5)モダリティの一般化を行う研究についてレビューする。
ネットワークにおける記号的知識を表現するグラフベースのアプローチや,ネットワークの説明可能性向上のための帰属戦略など,高レベル(6)スコープの一般化結果を調査した。
さらに、神経科学の概念は、脳のモジュラー構造と、ドーパミン駆動の条件付けが抽象的思考に繋がるステップについて論じられている。
関連論文リスト
- Domain Generalization through Meta-Learning: A Survey [6.524870790082051]
ディープニューラルネットワーク(DNN)は人工知能に革命をもたらしたが、アウト・オブ・ディストリビューション(OOD)データに直面すると、しばしばパフォーマンスが低下する。
本調査はメタラーニングの領域を掘り下げ,ドメインの一般化への貢献に焦点をあてたものである。
論文 参考訳(メタデータ) (2024-04-03T14:55:17Z) - Challenges in Pre-Training Graph Neural Networks for Context-Based Fake
News Detection: An Evaluation of Current Strategies and Resource Limitations [1.9870554622325414]
本稿では,文脈に基づく偽ニュース検出の分野において,グラフニューラルネットワーク(GNN)の事前学習を適用することを提案する。
本実験は,グラフに基づく誤情報検出のための事前学習手法の評価を行う。
現在の大きな問題は、事前トレーニングに使用できる適切な大規模リソースの欠如である、と私たちは主張する。
論文 参考訳(メタデータ) (2024-02-28T09:10:25Z) - A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。
ニューラルネットワークの過剰なリスクに関する結果は、回帰または分類の非パラメトリックフレームワークでレビューされる。
本稿では、GAN(Generative Adversarial Networks)、拡散モデル、Large Language Models(LLMs)におけるICL(In-context Learning)などの生成モデルにおける最新の理論的進歩について概説する。
論文 参考訳(メタデータ) (2024-01-14T02:30:19Z) - Predicting Infant Brain Connectivity with Federated Multi-Trajectory
GNNs using Scarce Data [54.55126643084341]
既存のディープラーニングソリューションには,3つの大きな制限がある。
我々はフェデレートグラフベースの多軌道進化ネットワークであるFedGmTE-Net++を紹介する。
フェデレーションの力を利用して、限られたデータセットを持つ多種多様な病院の地域学習を集約する。
論文 参考訳(メタデータ) (2024-01-01T10:20:01Z) - On Discprecncies between Perturbation Evaluations of Graph Neural
Network Attributions [49.8110352174327]
我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。
中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。
我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
論文 参考訳(メタデータ) (2024-01-01T02:03:35Z) - Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳(メタデータ) (2023-07-24T17:03:28Z) - Predicting the generalization gap in neural networks using topological
data analysis [33.511371257571504]
トポロジカルデータ解析の手法を用いて,ニューラルネットワークの一般化ギャップについて検討する。
トレーニング後のニューロン活性化相関から構築した重み付きグラフのホモロジー永続図を計算する。
持続性図から異なる数値要約の有用性を比較し、それらの組み合わせによって、テストセットを必要とせずに、その一般化ギャップを正確に予測し、部分的に説明できることを示す。
論文 参考訳(メタデータ) (2022-03-23T11:15:36Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳(メタデータ) (2022-01-28T05:26:32Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。