論文の概要: An Empirical Investigation into Deep and Shallow Rule Learning

• arxiv url: http://arxiv.org/abs/2106.10254v1
• Date: Fri, 18 Jun 2021 17:43:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 15:42:03.404548
• Title: An Empirical Investigation into Deep and Shallow Rule Learning
• Title（参考訳）: 深層・浅層ルール学習に関する実証的研究
• Authors: Florian Beck and Johannes F\"urnkranz
• Abstract要約: 本稿では,深層ルール学習と浅層ルール学習を一様一般アルゴリズムで実証的に比較する。 人工および実世界のベンチマークデータを用いた実験は、深いルールネットワークが浅いネットワークより優れていることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inductive rule learning is arguably among the most traditional paradigms in machine learning. Although we have seen considerable progress over the years in learning rule-based theories, all state-of-the-art learners still learn descriptions that directly relate the input features to the target concept. In the simplest case, concept learning, this is a disjunctive normal form (DNF) description of the positive class. While it is clear that this is sufficient from a logical point of view because every logical expression can be reduced to an equivalent DNF expression, it could nevertheless be the case that more structured representations, which form deep theories by forming intermediate concepts, could be easier to learn, in very much the same way as deep neural networks are able to outperform shallow networks, even though the latter are also universal function approximators. In this paper, we empirically compare deep and shallow rule learning with a uniform general algorithm, which relies on greedy mini-batch based optimization. Our experiments on both artificial and real-world benchmark data indicate that deep rule networks outperform shallow networks.
• Abstract（参考訳）: 帰納的ルール学習は、間違いなく機械学習の最も伝統的なパラダイムの1つです。 ルールに基づく理論の学習は長年にわたってかなりの進歩を遂げてきたが、すべての最先端学習者は依然として、入力特徴と対象概念を直接関連付ける記述を学んでいる。 最も単純な場合、概念学習(英語版)では、これは正のクラスの解離正規形(DNF)記述である。 すべての論理式を等価なDNF式に還元できるので、これは論理的な観点からは十分であることは間違いないが、しかしながら、中間概念を形成することによって深層理論を形成するより構造化された表現は、たとえ後者も普遍関数近似器であるとしても、深部ニューラルネットワークが浅部ネットワークより優れているのと全く同じ方法で学習し易い。 本稿では,経験的に深層ルール学習と浅部ルール学習を,グリージーなミニバッチに基づく最適化に依存する一様一般アルゴリズムと比較する。 人工および実世界のベンチマークデータを用いた実験は、深いルールネットワークが浅いネットワークより優れていることを示している。

関連論文リスト

• Understanding Deep Learning via Notions of Rank [5.439020425819001]
  この論文は、ディープラーニングの理論を発展させる鍵としてランクの概念を提唱している。 特に、勾配に基づくトレーニングは、いくつかのニューラルネットワークアーキテクチャにおいて、低ランクに対する暗黙の正規化を誘導できると確認する。 明示的な正規化スキームとデータ前処理アルゴリズムを設計するための我々の理論の実践的意味を述べる。
  論文  参考訳（メタデータ） (2024-08-04T18:47:55Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Information Flow in Deep Neural Networks [0.6922389632860545]
  ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2022-02-10T23:32:26Z)
• The Principles of Deep Learning Theory [19.33681537640272]
  この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。 これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。 トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:00:00Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Deep Learning is Singular, and That's Good [31.985399645173022]
  特異モデルにおいて、パラメータの最適集合は特異点を持つ解析集合を形成し、古典的な統計的推論は適用できない。 これは、ニューラルネットワークが特異であり、ヘッセンの行列式やラプラス近似を用いた場合の「分割」が適切でないため、ディープラーニングにとって重要である。 深層学習の根本的な問題に対処する可能性にもかかわらず、特異学習理論は深層学習理論の発達過程にほとんど浸透しなかったようである。
  論文  参考訳（メタデータ） (2020-10-22T09:33:59Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。