論文の概要: Discrete and continuous representations and processing in deep learning: Looking forward

• arxiv url: http://arxiv.org/abs/2201.01233v1
• Date: Tue, 4 Jan 2022 16:30:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 07:43:12.999935
• Title: Discrete and continuous representations and processing in deep learning: Looking forward
• Title（参考訳）: 深層学習における離散的・連続的表現と処理
• Authors: Ruben Cartuyvels, Graham Spinks, Marie-Francine Moens
• Abstract要約: 離散的かつ連続的な表現とそれらの処理を組み合わせることは、汎用的なインテリジェンスを示すシステムを構築する上で不可欠である、と我々は主張する。 両タイプの表現の利点を組み合わせるために、離散要素を含めることで、現在のニューラルネットワークを改善するいくつかの方法を提案し、議論する。
• 参考スコア（独自算出の注目度）: 18.28761409764605
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Discrete and continuous representations of content (e.g., of language or images) have interesting properties to be explored for the understanding of or reasoning with this content by machines. This position paper puts forward our opinion on the role of discrete and continuous representations and their processing in the deep learning field. Current neural network models compute continuous-valued data. Information is compressed into dense, distributed embeddings. By stark contrast, humans use discrete symbols in their communication with language. Such symbols represent a compressed version of the world that derives its meaning from shared contextual information. Additionally, human reasoning involves symbol manipulation at a cognitive level, which facilitates abstract reasoning, the composition of knowledge and understanding, generalization and efficient learning. Motivated by these insights, in this paper we argue that combining discrete and continuous representations and their processing will be essential to build systems that exhibit a general form of intelligence. We suggest and discuss several avenues that could improve current neural networks with the inclusion of discrete elements to combine the advantages of both types of representations.
• Abstract（参考訳）: コンテンツ(例えば言語や画像)の離散的かつ連続的な表現は、機械によるこの内容の理解や推論のために探求すべき興味深い性質を持っている。 本稿では,ディープラーニング分野における離散表現と連続表現の役割とその処理について考察する。 現在のニューラルネットワークモデルは、連続値データを計算する。 情報は密集した分散埋め込みに圧縮される。 対照的に、人間は言語とのコミュニケーションにおいて個別のシンボルを使用する。 このようなシンボルは、共有された文脈情報からその意味を導き出す世界の圧縮されたバージョンを表す。 さらに人間の推論には、抽象的な推論、知識と理解の合成、一般化、効率的な学習を促進する認知レベルでの記号操作が含まれる。 これらの知見に動機づけられた本論文では、離散的かつ連続的な表現とそれらの処理を組み合わせることが、汎用的なインテリジェンスを示すシステムを構築する上で不可欠であると論じる。 両タイプの表現の利点を組み合わせるために、離散要素を含めることで、現在のニューラルネットワークを改善するいくつかの方法を提案し、議論する。

関連論文リスト

• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• On the Generalization of Learned Structured Representations [5.1398743023989555]
  我々は、その隠された構造を捉えた非構造化データの表現を、ほとんど、あるいは全く監督せずに学習する方法を研究する。 この論文の第2部は、シンボルのような実体の観点で入力の構成構造をキャプチャするオブジェクト中心表現に焦点を当てている。
  論文  参考訳（メタデータ） (2023-04-25T17:14:36Z)
• Learning in Factored Domains with Information-Constrained Visual Representations [14.674830543204317]
  本稿では、視覚学習タスクで使用される$beta$-Variational Auto-Encoderの変形形式に基づくヒューマンファクター表現学習のモデルを提案する。 その結果,学習速度と再現精度の関係から,モデル潜在次元空間の情報複雑性のトレードオフが示された。
  論文  参考訳（メタデータ） (2023-03-30T16:22:10Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Constellation: Learning relational abstractions over objects for compositional imagination [64.99658940906917]
  静的な視覚シーンのリレーショナル抽象化を学習するネットワークであるConstellationを紹介する。 この研究は、視覚的関係を明確に表現し、それらを複雑な認知手続きに使用するための第一歩である。
  論文  参考訳（メタデータ） (2021-07-23T11:59:40Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)
• Interpreting Neural Networks as Gradual Argumentation Frameworks (Including Proof Appendix) [0.34265828682659694]
  フィードフォワードニューラルネットワークの興味深いクラスを定量的な議論フレームワークとして理解できることを示す。 この接続は、形式的議論と機械学習の間の橋渡しとなる。
  論文  参考訳（メタデータ） (2020-12-10T15:18:15Z)
• Interpretable Representations in Explainable AI: From Theory to Practice [7.031336702345381]
  解釈可能な表現は、ブラックボックス予測システムをターゲットにした多くの説明器のバックボーンである。 人間の理解可能な概念の存在と欠如をエンコードする解釈可能な表現の特性について検討する。
  論文  参考訳（メタデータ） (2020-08-16T21:44:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。