論文の概要: Generalization in Neural Networks: A Broad Survey
- arxiv url: http://arxiv.org/abs/2209.01610v1
- Date: Sun, 4 Sep 2022 12:48:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 12:43:52.279174
- Title: Generalization in Neural Networks: A Broad Survey
- Title(参考訳): ニューラルネットワークの一般化:広範な調査
- Authors: Chris Rohlfs
- Abstract要約: 本稿では,ニューラルネットワークモデルの概念,モデリング手法,および最近の知見について,さまざまなレベルの抽象化レベルを用いて概説する。
1) サンプルの一般化の結果,ImageNetの場合,最近の改善はほとんどの場合,過度に適合しながらトレーニングエラーを減らした。
神経科学の概念は、脳のモジュラー構造と、ドーパミン駆動の条件付けが抽象的思考につながるステップについて論じられている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper reviews concepts, modeling approaches, and recent findings along a
spectrum of different levels of abstraction of neural network models including
generalization across (1) Samples, (2) Distributions, (3) Domains, (4) Tasks,
(5) Modalities, and (6) Scopes. Results on (1) sample generalization show that,
in the case of ImageNet, nearly all the recent improvements reduced training
error while overfitting stayed flat; with nearly all the training error
eliminated, future progress will require a focus on reducing overfitting.
Perspectives from statistics highlight how (2) distribution generalization can
be viewed alternately as a change in sample weights or a change in the
input-output relationship. Transfer learning approaches to (3) domain
generalization are summarized, as are recent advances and the wealth of domain
adaptation benchmark datasets available. Recent breakthroughs surveyed in (4)
task generalization include few-shot meta-learning approaches and the BERT NLP
engine, and recent (5) modality generalization studies are discussed that
integrate image and text data and that apply a biologically-inspired network
across olfactory, visual, and auditory modalities. Recent (6) scope
generalization results are reviewed that embed knowledge graphs into deep NLP
approaches. Additionally, concepts from neuroscience are discussed on the
modular architecture of brains and the steps by which dopamine-driven
conditioning leads to abstract thinking.
- Abstract(参考訳): 本稿では,(1)サンプル,(2)分布,(3)ドメイン,(4)タスク,(5)モダリティ,(6)スコープの一般化を含む,ニューラルネットワークモデルのさまざまな抽象化レベルに関する概念,モデリングアプローチ,最近の知見についてレビューする。
1)サンプルの一般化の結果、ImageNetの場合、最近の改善のほとんどすべてがオーバーフィッティングのトレーニングエラーを減少させ、オーバーフィッティングのトレーニングエラーはほとんどなくし、将来の進歩はオーバーフィッティングの削減に焦点を合わせる必要がある。
統計学からの視点では、(2)分布の一般化はサンプル重量の変化や入出力関係の変化と交互に見ることができる。
(3)ドメイン一般化への移行学習アプローチを要約し、最近の進歩と豊富なドメイン適応ベンチマークデータセットが利用可能である。
(4)タスク一般化における最近のブレークスルーは、少数ショットメタラーニングアプローチとBERT NLPエンジンを含み、(5)画像とテキストデータを統合し、嗅覚、視覚、聴覚のモダリティにわたって生物学的にインスパイアされたネットワークを適用した最近のモダリティ一般化研究が議論されている。
知識グラフを深部NLPアプローチに組み込むための最近の(6)スコープ一般化結果について概説する。
さらに、神経科学の概念は、脳のモジュラー構造と、ドーパミン駆動の条件付けが抽象的思考につながるステップについて論じられている。
関連論文リスト
- Challenges in Pre-Training Graph Neural Networks for Context-Based Fake
News Detection: An Evaluation of Current Strategies and Resource Limitations [1.9870554622325414]
本稿では,文脈に基づく偽ニュース検出の分野において,グラフニューラルネットワーク(GNN)の事前学習を適用することを提案する。
本実験は,グラフに基づく誤情報検出のための事前学習手法の評価を行う。
現在の大きな問題は、事前トレーニングに使用できる適切な大規模リソースの欠如である、と私たちは主張する。
論文 参考訳(メタデータ) (2024-02-28T09:10:25Z) - A Survey on Statistical Theory of Deep Learning: Approximation, Training
Dynamics, and Generative Models [15.692437265063342]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。
ニューラルネットワークの過剰なリスクに関する結果は、回帰または分類の非パラメトリックフレームワークでレビューされる。
本稿では、GAN(Generative Adversarial Networks)、拡散モデル、Large Language Models(LLMs)におけるICL(In-context Learning)などの生成モデルにおける最新の理論的進歩について概説する。
論文 参考訳(メタデータ) (2024-01-14T02:30:19Z) - Predicting Infant Brain Connectivity with Federated Multi-Trajectory
GNNs using Scarce Data [54.55126643084341]
既存のディープラーニングソリューションには,3つの大きな制限がある。
我々はフェデレートグラフベースの多軌道進化ネットワークであるFedGmTE-Net++を紹介する。
フェデレーションの力を利用して、限られたデータセットを持つ多種多様な病院の地域学習を集約する。
論文 参考訳(メタデータ) (2024-01-01T10:20:01Z) - On Discprecncies between Perturbation Evaluations of Graph Neural
Network Attributions [49.8110352174327]
我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。
中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。
我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
論文 参考訳(メタデータ) (2024-01-01T02:03:35Z) - Multi-Scale and Multi-Layer Contrastive Learning for Domain
Generalization [6.053629733936548]
深部畳み込みニューラルネットワークの一般化能力は、ネットワークの多層的および多スケール的表現を活用することで向上できると論じる。
画像分類器の領域一般化を目的とした,低レベル特徴と高レベル特徴を複数スケールで組み合わせたフレームワークを提案する。
我々のモデルは従来のDG手法よりも優れており、全てのデータセットにおいて競争力と最先端の結果を連続的に生成できることを示す。
論文 参考訳(メタデータ) (2023-08-28T08:54:27Z) - Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳(メタデータ) (2023-07-24T17:03:28Z) - Predicting the generalization gap in neural networks using topological
data analysis [33.511371257571504]
トポロジカルデータ解析の手法を用いて,ニューラルネットワークの一般化ギャップについて検討する。
トレーニング後のニューロン活性化相関から構築した重み付きグラフのホモロジー永続図を計算する。
持続性図から異なる数値要約の有用性を比較し、それらの組み合わせによって、テストセットを必要とせずに、その一般化ギャップを正確に予測し、部分的に説明できることを示す。
論文 参考訳(メタデータ) (2022-03-23T11:15:36Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳(メタデータ) (2022-01-28T05:26:32Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。