論文の概要: Knowledge accumulating: The general pattern of learning

• arxiv url: http://arxiv.org/abs/2108.03988v1
• Date: Mon, 9 Aug 2021 12:41:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 20:37:56.504138
• Title: Knowledge accumulating: The general pattern of learning
• Title（参考訳）: 知識蓄積:学習の一般的なパターン
• Authors: Zhuoran Xu and Hao Liu
• Abstract要約: 現実世界のタスクを解決するには、タスク固有の機能に合うようにアルゴリズムを調整する必要があります。 一つのアルゴリズムは、どのように改善しても、密集したフィードバックタスクや、特定のスパースなフィードバックタスクだけを解くことができる。 本稿ではまず,スパースフィードバックがアルゴリズムのパーファマンスにどのように影響するかを解析し,その上で,スパースフィードバック問題を解決するために知識を蓄積する方法を説明するパターンを提案する。
• 参考スコア（独自算出の注目度）: 5.174379158867218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial Intelligence has been developed for decades with the achievement of great progress. Recently, deep learning shows its ability to solve many real world problems, e.g. image classification and detection, natural language processing, playing GO. Theoretically speaking, an artificial neural network can fit any function and reinforcement learning can learn from any delayed reward. But in solving real world tasks, we still need to spend a lot of effort to adjust algorithms to fit task unique features. This paper proposes that the reason of this phenomenon is the sparse feedback feature of the nature, and a single algorithm, no matter how we improve it, can only solve dense feedback tasks or specific sparse feedback tasks. This paper first analyses how sparse feedback affects algorithm perfomance, and then proposes a pattern that explains how to accumulate knowledge to solve sparse feedback problems.
• Abstract（参考訳）: 人工知能は何十年にもわたって大きな進歩を遂げてきた。 近年、ディープラーニングは現実世界の多くの問題を解決する能力を示している。 画像の分類と検出、自然言語処理、遊びのgo。 理論的には、ニューラルネットワークはあらゆる機能に適合し、強化学習は遅延した報酬から学ぶことができる。 しかし、現実世界のタスクを解決するには、タスク固有の機能に合うようにアルゴリズムを調整するために多くの労力を費やす必要がある。 本稿では,この現象の原因が自然のスパースフィードバックの特徴であり,その改善方法に関わらず,単一のアルゴリズムで高密度なフィードバックタスクや特定のスパースフィードバックタスクを解くことができることを提案する。 本稿では,まずスパースフィードバックがアルゴリズムのパーフォマンスに与える影響を解析し,スパースフィードバック問題を解決するために知識を蓄積する方法を説明するパターンを提案する。

関連論文リスト

• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• A Generalist Neural Algorithmic Learner [18.425083543441776]
  我々は、幅広いアルゴリズムを実行することを学習できる単一のグラフニューラルネットワークプロセッサを構築している。 マルチタスク方式でアルゴリズムを効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:41:33Z)
• Learning Iterative Reasoning through Energy Minimization [77.33859525900334]
  ニューラルネットワークを用いた反復推論のための新しいフレームワークを提案する。 すべての出力に対してエネルギーランドスケープをパラメータ化するために、ニューラルネットワークをトレーニングします。 エネルギー最小化ステップとして反復推論の各ステップを実装し,最小限のエネルギー解を求める。
  論文  参考訳（メタデータ） (2022-06-30T17:44:20Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• Feature Forgetting in Continual Representation Learning [48.89340526235304]
  表現は、平凡な連続学習においても「破滅的な忘れ」に苦しめられることはないが、その特徴についてはほとんど知られていない。 連続的な学習における表現を評価するためのプロトコルを考案し、それを用いて連続的な表現学習の基本的傾向の概要を示す。 特徴忘れ問題を研究するために、ニューラルネットワークにおける特徴忘れの頻度を識別し視覚化する合成データセットを作成する。
  論文  参考訳（メタデータ） (2022-05-26T13:38:56Z)
• End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking [52.05847268235338]
  機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。 本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。 また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
  論文  参考訳（メタデータ） (2022-02-11T18:43:28Z)
• Some thoughts on catastrophic forgetting and how to learn an algorithm [0.0]
  我々は,二進数の追加に対して正しいアルゴリズムを復元するためにトレーニング可能な,異なるアーキテクチャを持つニューラルネットワークを提案する。 ニューラルネットワークは破滅的な忘れ物に苦しむだけでなく、トレーニングが進むにつれて、目に見えない数字の予測能力を向上させる。
  論文  参考訳（メタデータ） (2021-08-09T11:12:43Z)
• Systematic human learning and generalization from a brief tutorial with explanatory feedback [3.7826494079172557]
  本研究では,人間の成体による抽象的推論課題の学習能力について考察する。 課題をマスターする参加者は,少数の試行錯誤で達成し,学習範囲外のパズルによく当てはまる。 また,課題を習得した者の多くは有効な解法戦略を記述でき,その参加者は,戦略記述が曖昧で不完全である者よりも,伝達パズルに優れていた。
  論文  参考訳（メタデータ） (2021-07-10T00:14:41Z)
• Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems [51.132938969015825]
  我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。 再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
  論文  参考訳（メタデータ） (2021-02-22T14:09:20Z)
• Demystifying Deep Neural Networks Through Interpretation: A Survey [3.566184392528658]
  現代のディープラーニングアルゴリズムは、トレーニングデータセットにおけるクロスエントロピー損失を最小限に抑えるなど、客観的なメトリックを最適化して学習する傾向にある。 問題は、単一の計量が現実世界のタスクの不完全な記述であることだ。 ニューラルネットワークの振る舞いや思考プロセスに関する洞察を提供するために、解釈可能性という問題に取り組む作業が行われている。
  論文  参考訳（メタデータ） (2020-12-13T17:56:41Z)
• Curriculum Learning with Hindsight Experience Replay for Sequential Object Manipulation Tasks [1.370633147306388]
  本稿では,カリキュラム学習とHER(Hindsight Experience Replay)を組み合わせて,逐次的なオブジェクト操作タスクを学習するアルゴリズムを提案する。 このアルゴリズムは、多くのオブジェクト操作タスクに固有のリカレント構造を利用し、元のシミュレーションで学習プロセス全体を各ソースタスクに調整することなく実装する。
  論文  参考訳（メタデータ） (2020-08-21T08:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。