論文の概要: Deep Distilling: automated code generation using explainable deep
learning
- arxiv url: http://arxiv.org/abs/2111.08275v1
- Date: Tue, 16 Nov 2021 07:45:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-17 14:57:40.205783
- Title: Deep Distilling: automated code generation using explainable deep
learning
- Title（参考訳）: Deep Distilling: 説明可能なディープラーニングによるコードの自動生成
- Authors: Paul J. Blazek, Kesavan Venkatesh, Milo M. Lin
- Abstract要約: 説明可能な深層学習を用いてデータからパターンを学習する機械学習手法である深層蒸留を導入する。
深層蒸留では, 分布外分布を一般化した簡潔なコードを生成する。
我々のアプローチは、非支援のマシンインテリジェンスが汎用的で直感的なルールを構築することを実証している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Human reasoning can distill principles from observed patterns and generalize
them to explain and solve novel problems. The most powerful artificial
intelligence systems lack explainability and symbolic reasoning ability, and
have therefore not achieved supremacy in domains requiring human understanding,
such as science or common sense reasoning. Here we introduce deep distilling, a
machine learning method that learns patterns from data using explainable deep
learning and then condenses it into concise, executable computer code. The
code, which can contain loops, nested logical statements, and useful
intermediate variables, is equivalent to the neural network but is generally
orders of magnitude more compact and human-comprehensible. On a diverse set of
problems involving arithmetic, computer vision, and optimization, we show that
deep distilling generates concise code that generalizes out-of-distribution to
solve problems orders-of-magnitude larger and more complex than the training
data. For problems with a known ground-truth rule set, deep distilling
discovers the rule set exactly with scalable guarantees. For problems that are
ambiguous or computationally intractable, the distilled rules are similar to
existing human-derived algorithms and perform at par or better. Our approach
demonstrates that unassisted machine intelligence can build generalizable and
intuitive rules explaining patterns in large datasets that would otherwise
overwhelm human reasoning.
- Abstract（参考訳）: 人間の推論は観察されたパターンから原理を蒸留し、それらを一般化して新しい問題を説明し、解くことができる。
最も強力な人工知能システムは説明可能性や象徴的推論能力に欠けており、科学や常識推論のような人間の理解を必要とする領域では超越性を達成していない。
本稿では,説明可能な深層学習を用いてデータからパターンを学習し,簡潔で実行可能なコンピュータコードに凝縮する機械学習手法である深層蒸留法を紹介する。
ループ、ネストされた論理文、有用な中間変数を含むことができるコードは、ニューラルネットワークと等価であるが、一般的には桁違いにコンパクトで理解しやすい。
算術,コンピュータビジョン,最適化を含む多種多様な問題に対して,深蒸留は,訓練データよりも桁違いに複雑で桁違いな問題を解くために,分布を一般化する簡潔なコードを生成することを示した。
既知の基底規則セットに関する問題に対して、深蒸留はスケーラブルな保証で正確に設定された規則を発見する。
曖昧で計算に難解な問題に対して、蒸留規則は既存の人間由来のアルゴリズムと似ていて、同等かそれ以上の性能を持つ。
我々のアプローチは、非支援の機械学習が人間の推論を圧倒するであろう大規模なデータセットのパターンを説明する汎用的で直感的なルールを構築することを実証している。
関連論文リスト
- Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。
任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。
広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
論文 参考訳（メタデータ） (2024-05-02T18:12:08Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳（メタデータ） (2023-08-29T17:22:39Z) - Transgressing the boundaries: towards a rigorous understanding of deep
learning and its (non-)robustness [3.1219977244201056]
様々な分野のアプリケーションにおける機械学習の最近の進歩は、ディープラーニング(DL)メソッドとアーキテクチャの台頭によるものである。
自動運転車、画像処理、音声認識などの背後にある重要な技術であるにもかかわらず、DLの理論的理解の欠如は悪名高い問題である。
論文 参考訳（メタデータ） (2023-07-05T17:27:17Z) - Chaining Simultaneous Thoughts for Numerical Reasoning [92.2007997126144]
テキストによる数値推論は、AIシステムにとって不可欠なスキルであるべきです。
これまでの研究は方程式の構造をモデル化することに集中し、様々な構造化デコーダを提案してきた。
我々は、有向非巡回グラフを用いてステップを推論する数値推論器CANTORを提案する。
論文 参考訳（メタデータ） (2022-11-29T18:52:06Z) - On Explainability in AI-Solutions: A Cross-Domain Survey [4.394025678691688]
システムモデルを自動的に導出する際、AIアルゴリズムは人間には検出できないデータで関係を学習する。
モデルが複雑になればなるほど、人間が意思決定の理由を理解するのが難しくなる。
この研究は、この話題に関する広範な文献調査を提供し、その大部分は、他の調査から成っている。
論文 参考訳（メタデータ） (2022-10-11T06:21:47Z) - Transformers discover an elementary calculation system exploiting local
attention and grid-like problem representation [0.424243593213882]
局所的な注意と適応的な停止機構を備えたユニバーサルトランスフォーマーは、外部のグリッドライクなメモリを利用してマルチ桁加算を行うことができることを示す。
提案モデルでは, トレーニング分布外の補間を必要とする問題に対して, 実験を行った場合においても, 顕著な精度が得られた。
論文 参考訳（メタデータ） (2022-07-06T09:29:56Z) - End-to-end Algorithm Synthesis with Recurrent Networks: Logical
Extrapolation Without Overthinking [52.05847268235338]
機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。
本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。
また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
論文 参考訳（メタデータ） (2022-02-11T18:43:28Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳（メタデータ） (2022-01-14T14:54:58Z) - An Empirical Investigation into Deep and Shallow Rule Learning [0.0]
本稿では,深層ルール学習と浅層ルール学習を一様一般アルゴリズムで実証的に比較する。
人工および実世界のベンチマークデータを用いた実験は、深いルールネットワークが浅いネットワークより優れていることを示している。
論文 参考訳（メタデータ） (2021-06-18T17:43:17Z) - Inductive Biases for Deep Learning of Higher-Level Cognition [108.89281493851358]
興味深い仮説は、人間と動物の知性はいくつかの原則によって説明できるということである。
この研究は、主に高いレベルとシーケンシャルな意識的処理に関心のある人を中心に、より大きなリストを考察する。
これらの特定の原則を明確にする目的は、人間の能力から恩恵を受けるAIシステムを構築するのに役立つ可能性があることである。
論文 参考訳（メタデータ） (2020-11-30T18:29:25Z) - Self-explaining AI as an alternative to interpretable AI [0.0]
二重降下は、深層ニューラルネットワークがデータポイント間のスムーズな補間によって動作することを示している。
複雑な現実世界のデータに基づいてトレーニングされたニューラルネットワークは、本質的に解釈が困難で、外挿を求めると失敗する傾向がある。
自己説明型AIは、決定と説明の両方の信頼性レベルとともに、人間に理解可能な説明を提供することができる。
論文 参考訳（メタデータ） (2020-02-12T18:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。