論文の概要: Beyond Transformers for Function Learning
- arxiv url: http://arxiv.org/abs/2304.09979v1
- Date: Wed, 19 Apr 2023 21:33:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 15:06:51.182248
- Title: Beyond Transformers for Function Learning
- Title(参考訳): 機能学習のためのトランスフォーマー
- Authors: Simon Segert, Jonathan Cohen
- Abstract要約: 単純な関数を学習し、予測する能力は、人間の知性の重要な側面である。
最近の研究はトランスフォーマーアーキテクチャを使ってこの能力を探求し始めている。
2つの単純な帰納的学習バイアスでトランスフォーマーアーキテクチャを拡張することで、このギャップに対処することを提案する。
- 参考スコア(独自算出の注目度): 0.6768558752130311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to learn and predict simple functions is a key aspect of human
intelligence. Recent works have started to explore this ability using
transformer architectures, however it remains unclear whether this is
sufficient to recapitulate the extrapolation abilities of people in this
domain. Here, we propose to address this gap by augmenting the transformer
architecture with two simple inductive learning biases, that are directly
adapted from recent models of abstract reasoning in cognitive science. The
results we report demonstrate that these biases are helpful in the context of
large neural network models, as well as shed light on the types of inductive
learning biases that may contribute to human abilities in extrapolation.
- Abstract(参考訳): 単純な機能を学習し、予測する能力は、人間の知能の重要な側面である。
最近の研究はトランスフォーマーアーキテクチャを使ってこの能力を探求し始めているが、この領域の人々の外挿能力を再カプセル化するのに十分かどうかは不明だ。
本稿では,認知科学における抽象的推論モデルから直接適応した2つの単純な帰納的学習バイアスでトランスフォーマーアーキテクチャを増大させることにより,このギャップに対処することを提案する。
その結果,これらのバイアスは大規模ニューラルネットワークモデルの文脈において有用であり,外挿における人間の能力に寄与する帰納的学習バイアスの種類にも光を当てることができた。
関連論文リスト
- The Generative AI Paradox: "What It Can Create, It May Not Understand" [81.89252713236746]
生成AIの最近の波は、潜在的に超人的な人工知能レベルに対する興奮と懸念を引き起こしている。
同時に、モデルは、専門家でない人でも期待できないような理解の基本的な誤りを示している。
一見超人的な能力と、ごく少数の人間が起こすエラーの持続性を、どうやって再現すればよいのか?
論文 参考訳(メタデータ) (2023-10-31T18:07:07Z) - Towards Benchmarking Explainable Artificial Intelligence Methods [0.0]
我々は、ニューラルネットワークによって推進される決定を説明する方法から、科学理論の哲学を、期待できるもの、期待できないものを明らかにすることを目的として分析レンズとして利用する。
ケーススタディにより、動物とヘッドギアの2つの常在領域における説明可能性法の性能の選択について検討した。
これらの手法の有用性は、人間のドメイン知識と、理解し、一般化し、理性に頼っている、と私たちはうなずく。
論文 参考訳(メタデータ) (2022-08-25T14:28:30Z) - Benchmarking Compositionality with Formal Languages [64.09083307778951]
我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。
多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。
モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
論文 参考訳(メタデータ) (2022-08-17T10:03:18Z) - Using Natural Language and Program Abstractions to Instill Human
Inductive Biases in Machines [27.79626958016208]
メタラーニングによって訓練されたエージェントは、人間とは全く異なる戦略をとる可能性がある。
これらのエージェントを自然言語のタスク記述から表現を予測し、そのようなタスクを生成するために誘導されるプログラムから学習することで、人間のような帰納的バイアスに導かれることを示す。
論文 参考訳(メタデータ) (2022-05-23T18:17:58Z) - Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。
この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。
実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
論文 参考訳(メタデータ) (2022-04-17T11:21:18Z) - AbductionRules: Training Transformers to Explain Unexpected Inputs [2.2630663834223763]
AbductionRulesは、自然言語の知識ベース上で一般的な推論を訓練し、テストするために設計されたデータセットのグループです。
本稿では,帰納的推論へのこのアプローチの適用可能性と今後の作業で改善される可能性について論じる。
論文 参考訳(メタデータ) (2022-03-23T04:18:30Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - On the Bias Against Inductive Biases [34.10348216388905]
視覚タスクのための自己教師付き特徴学習は、これらの非常に深い等方性ネットワークを使用して最先端の成功を収めた。
本研究では、教師なし視覚特徴学習に用いる小型・中等度等方性ネットワークに対する誘導バイアスの効果を解析する。
論文 参考訳(メタデータ) (2021-05-28T19:41:48Z) - Inductive Biases for Deep Learning of Higher-Level Cognition [108.89281493851358]
興味深い仮説は、人間と動物の知性はいくつかの原則によって説明できるということである。
この研究は、主に高いレベルとシーケンシャルな意識的処理に関心のある人を中心に、より大きなリストを考察する。
これらの特定の原則を明確にする目的は、人間の能力から恩恵を受けるAIシステムを構築するのに役立つ可能性があることである。
論文 参考訳(メタデータ) (2020-11-30T18:29:25Z) - Malicious Network Traffic Detection via Deep Learning: An Information
Theoretic View [0.0]
本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。
この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
論文 参考訳(メタデータ) (2020-09-16T15:37:44Z) - Machine Common Sense [77.34726150561087]
機械の常識は、人工知能(AI)において広範で潜在的に無拘束な問題のままである
本稿では、対人インタラクションのようなドメインに焦点を当てたコモンセンス推論のモデル化の側面について論じる。
論文 参考訳(メタデータ) (2020-06-15T13:59:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。