論文の概要: Neural networks that overcome classic challenges through practice

• arxiv url: http://arxiv.org/abs/2410.10596v2
• Date: Sun, 15 Dec 2024 20:26:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:51:43.131408
• Title: Neural networks that overcome classic challenges through practice
• Title（参考訳）: 実践を通して古典的な課題を克服するニューラルネットワーク
• Authors: Kazuki Irie, Brenden M. Lake,
• Abstract要約: 我々はメタラーニングを用いて、インセンティブと実践の問題に対処することで、いくつかの古典的な課題を克服する最近の研究をレビューする。 ニューラルネットワークの4つの古典的な課題、すなわち、体系的な一般化、破滅的な忘れ込み、数発の学習、多段階の推論に対処するためのこの原則の適用についてレビューする。
• 参考スコア（独自算出の注目度）: 22.741266810854228
• License:
• Abstract: Since the earliest proposals for neural network models of the mind and brain, critics have pointed out key weaknesses in these models compared to human cognitive abilities. Here we review recent work that uses metalearning to overcome several classic challenges by addressing the Problem of Incentive and Practice -- that is, providing machines with both incentives to improve specific skills and opportunities to practice those skills. This explicit optimization contrasts with more conventional approaches that hope the desired behavior will emerge through optimizing related but different objectives. We review applications of this principle to addressing four classic challenges for neural networks: systematic generalization, catastrophic forgetting, few-shot learning and multi-step reasoning. We also discuss the prospects for understanding aspects of human development through this framework, and whether natural environments provide the right incentives and practice for learning how to make challenging generalizations.
• Abstract（参考訳）: 心と脳のニューラルネットワークモデルに関する最初期の提案以来、批評家は人間の認知能力と比較して、これらのモデルに重要な弱点を指摘してきた。 ここでは、メタラーニングを使用して、インセンティブとプラクティスの問題に対処することで、いくつかの古典的な課題を克服する最近の研究をレビューする。 この明示的な最適化は、関連するが異なる目的を最適化することで望ましい振る舞いが現れることを期待する、より伝統的なアプローチとは対照的である。 ニューラルネットワークの4つの古典的な課題、すなわち、体系的な一般化、破滅的な忘れ込み、数発の学習、多段階の推論に対処するためのこの原則の適用についてレビューする。 また,この枠組みを通じて人的発達の側面を理解するための展望や,自然環境が適切なインセンティブや実践を提供するかどうかについても論じる。

関連論文リスト

• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• Benign or Not-Benign Overfitting in Token Selection of Attention Mechanism [34.316270145027616]
  注目アーキテクチャのトークン選択機構における良性過剰適合の解析を行う。 私たちの知る限りでは、注意機構に対する良心過剰適合を特徴づける最初の研究である。
  論文  参考訳（メタデータ） (2024-09-26T08:20:05Z)
• Failures Are Fated, But Can Be Faded: Characterizing and Mitigating Unwanted Behaviors in Large-Scale Vision and Language Models [7.736445799116692]
  多くのタスクで驚くほどうまく機能しているように見える大きなディープニューラルネットワークでは、精度、社会的バイアス、人間の価値観との整合性に関連するいくつかの障害も観察します。 本研究では,事前学習した識別モデルと生成モデルを用いて,エンフディープ強化学習を用いて,障害モードの景観を探索・構築するポストホック手法を提案する。 提案手法の有効性を,コンピュータビジョン,自然言語処理,視覚言語タスクで実証的に示す。
  論文  参考訳（メタデータ） (2024-06-11T10:45:41Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
  大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。 我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
  論文  参考訳（メタデータ） (2023-10-14T23:28:48Z)
• Technical Challenges for Training Fair Neural Networks [62.466658247995404]
  最先端のアーキテクチャを用いて顔認識と自動診断データセットの実験を行います。 我々は、大きなモデルは公平さの目標に過度に適合し、意図しない、望ましくない結果を生み出すことを観察する。
  論文  参考訳（メタデータ） (2021-02-12T20:36:45Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• On the Reliability and Generalizability of Brain-inspired Reinforcement Learning Algorithms [10.09712608508383]
  モデルベースとモデルフリー制御を組み合わせた計算モデルは,前頭前野のRLと呼ばれ,人間が学習した高レベル政策に関する情報を確実にエンコードする。 これは、脳が一般的な問題を解決する方法を模倣する計算モデルが実用的な解決策をもたらす可能性を正式にテストする最初の試みである。
  論文  参考訳（メタデータ） (2020-07-09T06:32:42Z)
• Neuro-evolutionary Frameworks for Generalized Learning Agents [1.2691047660244335]
  近年のディープラーニングと深層強化学習の成功は、最先端の人工知能技術としての地位を確固たるものにしている。 これらのアプローチの長年の欠点は、そのようなシステムが設計され、デプロイされる方法を再考する必要性を示している。 このような神経進化の枠組みから期待される改善と関連する課題について論じる。
  論文  参考訳（メタデータ） (2020-02-04T02:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。