論文の概要: Generalization in Neural Networks: A Broad Survey

• arxiv url: http://arxiv.org/abs/2209.01610v1
• Date: Sun, 4 Sep 2022 12:48:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 12:43:52.279174
• Title: Generalization in Neural Networks: A Broad Survey
• Title（参考訳）: ニューラルネットワークの一般化:広範な調査
• Authors: Chris Rohlfs
• Abstract要約: 本稿では,ニューラルネットワークモデルの概念,モデリング手法,および最近の知見について,さまざまなレベルの抽象化レベルを用いて概説する。 1) サンプルの一般化の結果,ImageNetの場合,最近の改善はほとんどの場合,過度に適合しながらトレーニングエラーを減らした。 神経科学の概念は、脳のモジュラー構造と、ドーパミン駆動の条件付けが抽象的思考につながるステップについて論じられている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper reviews concepts, modeling approaches, and recent findings along a spectrum of different levels of abstraction of neural network models including generalization across (1) Samples, (2) Distributions, (3) Domains, (4) Tasks, (5) Modalities, and (6) Scopes. Results on (1) sample generalization show that, in the case of ImageNet, nearly all the recent improvements reduced training error while overfitting stayed flat; with nearly all the training error eliminated, future progress will require a focus on reducing overfitting. Perspectives from statistics highlight how (2) distribution generalization can be viewed alternately as a change in sample weights or a change in the input-output relationship. Transfer learning approaches to (3) domain generalization are summarized, as are recent advances and the wealth of domain adaptation benchmark datasets available. Recent breakthroughs surveyed in (4) task generalization include few-shot meta-learning approaches and the BERT NLP engine, and recent (5) modality generalization studies are discussed that integrate image and text data and that apply a biologically-inspired network across olfactory, visual, and auditory modalities. Recent (6) scope generalization results are reviewed that embed knowledge graphs into deep NLP approaches. Additionally, concepts from neuroscience are discussed on the modular architecture of brains and the steps by which dopamine-driven conditioning leads to abstract thinking.
• Abstract（参考訳）: 本稿では,(1)サンプル,(2)分布,(3)ドメイン,(4)タスク,(5)モダリティ,(6)スコープの一般化を含む,ニューラルネットワークモデルのさまざまな抽象化レベルに関する概念,モデリングアプローチ,最近の知見についてレビューする。 1)サンプルの一般化の結果、ImageNetの場合、最近の改善のほとんどすべてがオーバーフィッティングのトレーニングエラーを減少させ、オーバーフィッティングのトレーニングエラーはほとんどなくし、将来の進歩はオーバーフィッティングの削減に焦点を合わせる必要がある。 統計学からの視点では、(2)分布の一般化はサンプル重量の変化や入出力関係の変化と交互に見ることができる。 (3)ドメイン一般化への移行学習アプローチを要約し、最近の進歩と豊富なドメイン適応ベンチマークデータセットが利用可能である。 (4)タスク一般化における最近のブレークスルーは、少数ショットメタラーニングアプローチとBERT NLPエンジンを含み、(5)画像とテキストデータを統合し、嗅覚、視覚、聴覚のモダリティにわたって生物学的にインスパイアされたネットワークを適用した最近のモダリティ一般化研究が議論されている。 知識グラフを深部NLPアプローチに組み込むための最近の(6)スコープ一般化結果について概説する。 さらに、神経科学の概念は、脳のモジュラー構造と、ドーパミン駆動の条件付けが抽象的思考につながるステップについて論じられている。

関連論文リスト

• Domain Generalization through Meta-Learning: A Survey [6.524870790082051]
  ディープニューラルネットワーク(DNN)は人工知能に革命をもたらしたが、アウト・オブ・ディストリビューション(OOD)データに直面すると、しばしばパフォーマンスが低下する。 本調査はメタラーニングの領域を掘り下げ,ドメインの一般化への貢献に焦点をあてたものである。
  論文  参考訳（メタデータ） (2024-04-03T14:55:17Z)
• On Discprecncies between Perturbation Evaluations of Graph Neural Network Attributions [49.8110352174327]
  我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。 中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。 我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
  論文  参考訳（メタデータ） (2024-01-01T02:03:35Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• Predicting the generalization gap in neural networks using topological data analysis [33.511371257571504]
  トポロジカルデータ解析の手法を用いて,ニューラルネットワークの一般化ギャップについて検討する。 トレーニング後のニューロン活性化相関から構築した重み付きグラフのホモロジー永続図を計算する。 持続性図から異なる数値要約の有用性を比較し、それらの組み合わせによって、テストセットを必要とせずに、その一般化ギャップを正確に予測し、部分的に説明できることを示す。
  論文  参考訳（メタデータ） (2022-03-23T11:15:36Z)
• With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
  ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。 初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。 より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
  論文  参考訳（メタデータ） (2022-01-28T05:26:32Z)
• Network representation learning: A macro and micro view [9.221196170951702]
  本稿では,ネットワーク表現学習に関する最近の文献を包括的にレビューする。 既存のアルゴリズムは、浅い埋め込みモデル、異種ネットワーク埋め込みモデル、グラフニューラルネットワークベースモデルという3つのグループに分類される。 この調査の利点の1つは、アルゴリズムの異なるカテゴリの基礎となる理論的基礎を体系的に研究することである。
  論文  参考訳（メタデータ） (2021-11-21T08:58:51Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• A Survey of Community Detection Approaches: From Statistical Modeling to Deep Learning [95.27249880156256]
  ネットワークコミュニティファイリング手法の統一アーキテクチャを開発し,提案する。 既存の手法を確率的グラフィカルモデルとディープラーニングという2つのカテゴリに分けた新しい分類法を提案する。 フィールドの課題の議論と今後の研究の方向性の提案を締めくくります。
  論文  参考訳（メタデータ） (2021-01-03T02:32:45Z)
• CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems [121.78477833009671]
  データセット間設定下での様々な要約モデルの性能について検討する。 異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
  論文  参考訳（メタデータ） (2020-10-11T02:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。