論文の概要: Neural networks that overcome classic challenges through practice
- arxiv url: http://arxiv.org/abs/2410.10596v2
- Date: Sun, 15 Dec 2024 20:26:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:51:43.131408
- Title: Neural networks that overcome classic challenges through practice
- Title（参考訳）: 実践を通して古典的な課題を克服するニューラルネットワーク
- Authors: Kazuki Irie, Brenden M. Lake,
- Abstract要約: 我々はメタラーニングを用いて、インセンティブと実践の問題に対処することで、いくつかの古典的な課題を克服する最近の研究をレビューする。
ニューラルネットワークの4つの古典的な課題、すなわち、体系的な一般化、破滅的な忘れ込み、数発の学習、多段階の推論に対処するためのこの原則の適用についてレビューする。
- 参考スコア（独自算出の注目度）: 22.741266810854228
- License:
- Abstract: Since the earliest proposals for neural network models of the mind and brain, critics have pointed out key weaknesses in these models compared to human cognitive abilities. Here we review recent work that uses metalearning to overcome several classic challenges by addressing the Problem of Incentive and Practice -- that is, providing machines with both incentives to improve specific skills and opportunities to practice those skills. This explicit optimization contrasts with more conventional approaches that hope the desired behavior will emerge through optimizing related but different objectives. We review applications of this principle to addressing four classic challenges for neural networks: systematic generalization, catastrophic forgetting, few-shot learning and multi-step reasoning. We also discuss the prospects for understanding aspects of human development through this framework, and whether natural environments provide the right incentives and practice for learning how to make challenging generalizations.
- Abstract（参考訳）: 心と脳のニューラルネットワークモデルに関する最初期の提案以来、批評家は人間の認知能力と比較して、これらのモデルに重要な弱点を指摘してきた。
ここでは、メタラーニングを使用して、インセンティブとプラクティスの問題に対処することで、いくつかの古典的な課題を克服する最近の研究をレビューする。
この明示的な最適化は、関連するが異なる目的を最適化することで望ましい振る舞いが現れることを期待する、より伝統的なアプローチとは対照的である。
ニューラルネットワークの4つの古典的な課題、すなわち、体系的な一般化、破滅的な忘れ込み、数発の学習、多段階の推論に対処するためのこの原則の適用についてレビューする。
また,この枠組みを通じて人的発達の側面を理解するための展望や,自然環境が適切なインセンティブや実践を提供するかどうかについても論じる。
関連論文リスト
- How Vision-Language Tasks Benefit from Large Pre-trained Models: A Survey [59.23394353614928]
近年、事前訓練されたモデルが台頭し、視覚言語タスクの研究が進められている。
事前訓練されたモデルの強力な能力に触発されて、古典的な課題を解決するために新しいパラダイムが登場した。
論文 参考訳（メタデータ） (2024-12-11T07:29:04Z) - Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning [59.98430756337374]
教師付き微調整により、様々な数学的推論タスクにおける言語モデルの問題解決能力が向上する。
本研究は,手前のトレーニング問題をより深く理解することを目的とした,新しい技術を紹介する。
本稿では,各トレーニングインスタンスに問題反映を埋め込む手法であるリフレクティブ拡張を提案する。
論文 参考訳（メタデータ） (2024-06-17T19:42:22Z) - Avoiding Catastrophic Forgetting in Visual Classification Using Human
Concept Formation [0.8159711103888622]
我々は,人間に似た学習システムであるCobweb上に構築された新しい視覚分類手法であるCobweb4Vを提案する。
本研究では,視覚概念の学習におけるCobweb4Vの有効性を示す総合的な評価を行う。
これらの特徴は、人間の認知における学習戦略と一致し、Cobweb4Vをニューラルネットワークアプローチの有望な代替品として位置づけている。
論文 参考訳（メタデータ） (2024-02-26T17:20:16Z) - Towards Improving Robustness Against Common Corruptions using Mixture of
Class Specific Experts [10.27974860479791]
本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。
提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
論文 参考訳（メタデータ） (2023-11-16T20:09:47Z) - A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
逆の例では、機械学習モデルを操作して誤った予測を行うことができます。
敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。
本研究は, 対角移動可能性の展望を考察した。
論文 参考訳（メタデータ） (2023-10-26T17:45:26Z) - Learning Expressive Priors for Generalization and Uncertainty Estimation
in Neural Networks [77.89179552509887]
本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。
キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。
本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
論文 参考訳（メタデータ） (2023-07-15T09:24:33Z) - Abrupt and spontaneous strategy switches emerge in simple regularised
neural networks [8.737068885923348]
単純な人工ニューラルネットワークにおいて、洞察的な振る舞いが生じるかどうかを考察する。
ネットワークアーキテクチャと学習力学の分析により、洞察的な振る舞いは規則化されたゲーティング機構に大きく依存していることが判明した。
このことは、単純なニューラルネットワークにおける漸進的な学習から、洞察のような振る舞いが自然に生じることを示唆している。
論文 参考訳（メタデータ） (2023-02-22T12:48:45Z) - Technical Challenges for Training Fair Neural Networks [62.466658247995404]
最先端のアーキテクチャを用いて顔認識と自動診断データセットの実験を行います。
我々は、大きなモデルは公平さの目標に過度に適合し、意図しない、望ましくない結果を生み出すことを観察する。
論文 参考訳（メタデータ） (2021-02-12T20:36:45Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳（メタデータ） (2020-09-01T09:07:25Z) - Revisit Systematic Generalization via Meaningful Learning [15.90288956294373]
最近の研究は、ニューラルネットワークはそのような認知能力に本質的に効果がないように見えると主張している。
新しい概念と古い概念のセマンティックリンクを条件としたシーケンス・ツー・シーケンス・モデルの合成スキルを再評価する。
論文 参考訳（メタデータ） (2020-03-14T15:27:29Z) - Neuro-evolutionary Frameworks for Generalized Learning Agents [1.2691047660244335]
近年のディープラーニングと深層強化学習の成功は、最先端の人工知能技術としての地位を確固たるものにしている。
これらのアプローチの長年の欠点は、そのようなシステムが設計され、デプロイされる方法を再考する必要性を示している。
このような神経進化の枠組みから期待される改善と関連する課題について論じる。
論文 参考訳（メタデータ） (2020-02-04T02:11:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。