論文の概要: Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks

• arxiv url: http://arxiv.org/abs/2201.05489v1
• Date: Fri, 14 Jan 2022 14:54:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-17 14:30:02.157899
• Title: Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks
• Title（参考訳）: 機械学習の創発:ニューラルネットワークによる記号知化を目指して
• Authors: Yuqi Wang, Xu-Yao Zhang, Cheng-Lin Liu, Zhaoxiang Zhang
• Abstract要約: 本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
• 参考スコア（独自算出の注目度）: 73.94290462239061
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation is a core issue in artificial intelligence. Humans use discrete language to communicate and learn from each other, while machines use continuous features (like vector, matrix, or tensor in deep neural networks) to represent cognitive patterns. Discrete symbols are low-dimensional, decoupled, and have strong reasoning ability, while continuous features are high-dimensional, coupled, and have incredible abstracting capabilities. In recent years, deep learning has developed the idea of continuous representation to the extreme, using millions of parameters to achieve high accuracies. Although this is reasonable from the statistical perspective, it has other major problems like lacking interpretability, poor generalization, and is easy to be attacked. Since both paradigms have strengths and weaknesses, a better choice is to seek reconciliation. In this paper, we make an initial attempt towards this direction. Specifically, we propose to combine symbolism and connectionism principles by using neural networks to derive a discrete representation. This process is highly similar to human language, which is a natural combination of discrete symbols and neural systems, where the brain processes continuous signals and represents intelligence via discrete language. To mimic this functionality, we denote our approach as machine language. By designing an interactive environment and task, we demonstrated that machines could generate a spontaneous, flexible, and semantic language through cooperation. Moreover, through experiments we show that discrete language representation has several advantages compared with continuous feature representation, from the aspects of interpretability, generalization, and robustness.
• Abstract（参考訳）: 表現は人工知能の中核的な問題である。 人間は個別の言語を使って互いにコミュニケーションし学習し、機械は認知パターンを表現するために連続的な特徴(ベクトル、行列、あるいは深層ニューラルネットワークのテンソルなど)を使用する。 離散記号は低次元で疎結合であり、強い推論能力を持ち、連続的な特徴は高次元で結合され、素晴らしい抽象能力を持つ。 近年、ディープラーニングは、数百万のパラメータを使って高い精度を達成するために、連続的な表現を極端に発展させています。 これは統計的観点からは妥当であるが、解釈可能性の欠如、一般化の低さ、攻撃が容易なその他の大きな問題がある。 両方のパラダイムには強みと弱みがあるので、より良い選択は和解を求めることである。 本稿では,この方向に向けて最初の試みを行う。 具体的には、ニューラルネットワークを用いて離散表現を導出することで、象徴主義と接続主義の原則を組み合わせることを提案する。 このプロセスは、脳が連続的なシグナルを処理し、離散言語を介して知性を表現する、離散的なシンボルと神経システムの自然な組み合わせである人間言語と非常によく似ている。 この機能を模倣するために、我々のアプローチをマシン言語として表現します。 対話型環境とタスクを設計することで,機械が協調によって自発的,柔軟,セマンティックな言語を生成できることを実証した。 さらに, 実験により, 離散的言語表現は, 解釈可能性, 一般化, 頑健性の観点から, 連続的特徴表現と比較していくつかの利点があることを示した。

関連論文リスト

• VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning [86.59849798539312]
  本稿では,記号的・神経的知識表現の強みを組み合わせた一階抽象言語Neuro-Symbolic Predicatesを提案する。 提案手法は, サンプルの複雑さの向上, 分布外一般化の強化, 解釈可能性の向上を実現する。
  論文  参考訳（メタデータ） (2024-10-30T16:11:05Z)
• Sparse Autoencoders Find Highly Interpretable Features in Language Models [0.0]
  多意味性は、ニューラルネットワークが内部で何をしているのかについて、簡潔で理解しやすい説明を見つけるのを妨げます。 スパースオートエンコーダを用いて言語モデルの内部アクティベーションを再構築する。 我々の手法は将来の機械的解釈可能性の基盤となるかもしれない。
  論文  参考訳（メタデータ） (2023-09-15T17:56:55Z)
• From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought [124.40905824051079]
  言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。 我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。 LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。 認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-06-22T05:14:00Z)
• SNeL: A Structured Neuro-Symbolic Language for Entity-Based Multimodal Scene Understanding [0.0]
  SNeL(Structured Neuro-symbolic Language, 構造化ニューラルシンボリック言語)は,マルチモーダルデータを処理するニューラルネットワークとのニュアンスな相互作用を容易にする汎用的なクエリ言語である。 SNeLの表現的インターフェースは、複雑なクエリの構築、論理演算と算術演算子、コンパレータ、ネストなどをサポートする。 我々の評価は、SNeLが複雑なニューラルネットワークとの相互作用を形作る可能性を示している。
  論文  参考訳（メタデータ） (2023-06-09T17:01:51Z)
• Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker [72.09076317574238]
  ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。 ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
  論文  参考訳（メタデータ） (2023-06-01T17:24:35Z)
• Learning an Artificial Language for Knowledge-Sharing in Multilingual Translation [15.32063273544696]
  コードブック内のエントリにエンコーダ状態を割り当てることで,多言語モデルの潜伏空間を識別する。 我々は,現実的なデータ量と領域を用いた大規模実験へのアプローチを検証する。 また、学習した人工言語を用いてモデル行動を分析し、類似のブリッジ言語を使用することで、残りの言語間での知識共有が向上することを発見した。
  論文  参考訳（メタデータ） (2022-11-02T17:14:42Z)
• Multitasking Models are Robust to Structural Failure: A Neural Model for Bilingual Cognitive Reserve [78.3500985535601]
  マルチタスク学習とニューロン障害に対する堅牢性との間には,驚くべき関連性がある。 実験の結果,バイリンガル言語モデルは様々なニューロン摂動下で高い性能を維持していることがわかった。 線形表現学習を数学的に解析することにより,このロバスト性を理論的に正当化する。
  論文  参考訳（メタデータ） (2022-10-20T22:23:27Z)
• Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer [59.73454783958702]
  本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。 特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。 変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
  論文  参考訳（メタデータ） (2022-10-06T07:39:58Z)
• Enhancing Interpretability and Interactivity in Robot Manipulation: A Neurosymbolic Approach [0.0]
  本稿では,言語誘導型視覚推論とロボット操作を結合したニューロシンボリックアーキテクチャを提案する。 非熟練の人間ユーザは、制約のない自然言語を用いてロボットに刺激を与え、参照表現(REF)、質問(VQA)、把握動作指示を提供する。 シミュレーション環境では,3次元視覚と言語によるテーブルトップシーンの合成データセットを作成し,我々のアプローチを訓練し,合成シーンと実世界のシーンの両方で広範な評価を行う。
  論文  参考訳（メタデータ） (2022-10-03T12:21:45Z)
• Discrete and continuous representations and processing in deep learning: Looking forward [18.28761409764605]
  離散的かつ連続的な表現とそれらの処理を組み合わせることは、汎用的なインテリジェンスを示すシステムを構築する上で不可欠である、と我々は主張する。 両タイプの表現の利点を組み合わせるために、離散要素を含めることで、現在のニューラルネットワークを改善するいくつかの方法を提案し、議論する。
  論文  参考訳（メタデータ） (2022-01-04T16:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。