論文の概要: Learning Task-General Representations with Generative Neuro-Symbolic Modeling

• arxiv url: http://arxiv.org/abs/2006.14448v2
• Date: Sat, 23 Jan 2021 16:40:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 02:47:49.511623
• Title: Learning Task-General Representations with Generative Neuro-Symbolic Modeling
• Title（参考訳）: 生成的ニューロシンボリックモデリングによるタスク一般表現の学習
• Authors: Reuben Feinman, Brenden M. Lake
• Abstract要約: 我々は手書き文字概念の生成型ニューロシンボリック(GNS)モデルを開発する。 部品間の相関はニューラルネットワークのサブルーチンでモデル化され、モデルが生のデータから直接学習することができる。 その後の評価では、GNSモデルは確率的推論を用いて1つのトレーニング画像からリッチな概念表現を学習する。
• 参考スコア（独自算出の注目度）: 22.336243882030026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People can learn rich, general-purpose conceptual representations from only raw perceptual inputs. Current machine learning approaches fall well short of these human standards, although different modeling traditions often have complementary strengths. Symbolic models can capture the compositional and causal knowledge that enables flexible generalization, but they struggle to learn from raw inputs, relying on strong abstractions and simplifying assumptions. Neural network models can learn directly from raw data, but they struggle to capture compositional and causal structure and typically must retrain to tackle new tasks. We bring together these two traditions to learn generative models of concepts that capture rich compositional and causal structure, while learning from raw data. We develop a generative neuro-symbolic (GNS) model of handwritten character concepts that uses the control flow of a probabilistic program, coupled with symbolic stroke primitives and a symbolic image renderer, to represent the causal and compositional processes by which characters are formed. The distributions of parts (strokes), and correlations between parts, are modeled with neural network subroutines, allowing the model to learn directly from raw data and express nonparametric statistical relationships. We apply our model to the Omniglot challenge of human-level concept learning, using a background set of alphabets to learn an expressive prior distribution over character drawings. In a subsequent evaluation, our GNS model uses probabilistic inference to learn rich conceptual representations from a single training image that generalize to 4 unique tasks, succeeding where previous work has fallen short.
• Abstract（参考訳）: 生の知覚入力のみから、リッチで汎用的な概念表現を学ぶことができる。 現在の機械学習アプローチは、これらの人間の標準にかなり欠落しているが、異なるモデリングの伝統はしばしば補完的な強みを持っている。 シンボリックモデルは、フレキシブルな一般化を可能にする構成的および因果的知識を捉えることができるが、それらは強い抽象化と仮定の単純化に頼って、生の入力から学ぶのに苦労する。 ニューラルネットワークモデルは生のデータから直接学習できるが、合成構造や因果構造を捉えるのに苦労し、新しいタスクに取り組むために再訓練する必要がある。 これら2つの伝統をまとめ、生のデータから学びながら、豊かな構成構造と因果構造を捉えた概念の生成モデルを学ぶ。 本稿では,確率的プログラムの制御フローとシンボリック・ストローク・プリミティブとシンボリック・イメージ・レンダラーを組み合わせた,手書き文字概念の生成的ニューロシンボリック(gns)モデルを開発し,文字の生成過程と構成過程を表現する。 部品(ストローク)の分布と部品間の相関はニューラルネットワークサブルーチンでモデル化され、モデルが生データから直接学習し、非パラメトリックな統計関係を表現することができる。 我々は,人文レベルの概念学習におけるOmniglot問題に適用し,アルファベットの背景集合を用いて文字図面上の表現的事前分布を学習する。 その後の評価において、gsモデルは確率的推論を使用して、単一のトレーニングイメージからリッチな概念表現を学習し、4つのユニークなタスクに一般化します。

関連論文リスト

• On the Transition from Neural Representation to Symbolic Knowledge [2.2528422603742304]
  本稿では,EMアルゴリズムを用いてデータのトランザクショナル表現を学習するニューラルネットワークトランザクショナル辞書学習(TDL)フレームワークを提案する。 我々は,協調ゲームとしての入力の分解に関して,拡散モデルを用いてフレームワークを実装した。 さらに、マルコフモデルによって実現されたRLを用いて、学習したプロトタイプをさらに調整する。
  論文  参考訳（メタデータ） (2023-08-03T19:29:35Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Towards Learning a Vocabulary of Visual Concepts and Operators using Deep Neural Networks [0.0]
  我々は、MNIST画像を用いて訓練されたモデルの学習された特徴マップを分析し、より説明可能な予測を行う。 MNIST画像を用いて学習した変分オートエンコーダから視覚概念を生成する。 再建損失(平均2乗誤差)を初期値120から60に減らすことができた。
  論文  参考訳（メタデータ） (2021-09-01T16:34:57Z)
• pix2rule: End-to-end Neuro-symbolic Rule Learning [84.76439511271711]
  本稿では,画像のオブジェクトへの処理,学習関係,論理規則に関する完全なニューロシンボリックな手法を提案する。 主な貢献は、シンボリックリレーションとルールを抽出できるディープラーニングアーキテクチャにおける差別化可能なレイヤである。 我々のモデルは最先端のシンボリックラーナーを超えてスケールし、ディープリレーショナルニューラルネットワークアーキテクチャよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2021-06-14T15:19:06Z)
• Learning Evolved Combinatorial Symbols with a Neuro-symbolic Generative Model [35.341634678764066]
  人間は限られたデータからリッチな概念を素早く理解することができる。 従来のアプローチと概念学習の強みを融合したニューロシンボリックジェネレーションモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-16T17:57:51Z)
• Counterfactual Generative Networks [59.080843365828756]
  画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。 適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。 その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
  論文  参考訳（メタデータ） (2021-01-15T10:23:12Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)
• Generating new concepts with hybrid neuro-symbolic models [22.336243882030026]
  人間の概念的知識は、新しいが高度に構造化された概念を生成する能力を支持する。 ある伝統は構造化された知識を強調し、概念は直感的な理論に埋め込まれるか、複雑な記号的な知識構造に組織化されている。 第二の伝統は統計的知識を強調し、概念的知識はニューラルネットワークやその他の統計モデルの訓練によって得られたリッチな相関構造から生まれたものと見なしている。
  論文  参考訳（メタデータ） (2020-03-19T18:45:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。