論文の概要: Understanding the Countably Infinite: Neural Network Models of the Successor Function and its Acquisition
- arxiv url: http://arxiv.org/abs/2311.15194v2
- Date: Wed, 22 May 2024 00:19:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-26 20:04:03.368524
- Title: Understanding the Countably Infinite: Neural Network Models of the Successor Function and its Acquisition
- Title（参考訳）: 数え切れない無限性:継承関数のニューラルネットワークモデルとその獲得
- Authors: Vima Gupta, Sashank Varma,
- Abstract要約: 小学校に入ると、数字の順序構造に対する理解は、記憶された数列から、後継関数を理解し、数え切れないほど無限となるものへと移行する。
N in (0, 98) のペア (N, N+1) における後継関数を学習する2つのニューラルネットワークモデルにおけるこの発達変化について検討する。
これらのモデルは、リカレントアーキテクチャを使用して、後継関数の学習を超えて、カウントプロセスをより一般的にシミュレートするための将来の作業のステージを設定した。
- 参考スコア（独自算出の注目度）: 0.9208007322096533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As children enter elementary school, their understanding of the ordinal structure of numbers transitions from a memorized count list of the first 50-100 numbers to knowing the successor function and understanding the countably infinite. We investigate this developmental change in two neural network models that learn the successor function on the pairs (N, N+1) for N in (0, 98). The first uses a one-hot encoding of the input and output values and corresponds to children memorizing a count list, while the second model uses a place-value encoding and corresponds to children learning the language rules for naming numbers. The place-value model showed a predicted drop in representational similarity across tens boundaries. Counting across a tens boundary can be understood as a vector operation in 2D space, where the numbers with the same tens place are organized in a linearly separable manner, whereas those with the same ones place are grouped together. A curriculum learning simulation shows that, in the expanding numerical environment of the developing child, representations of smaller numbers continue to be sharpened even as larger numbers begin to be learned. These models set the stage for future work using recurrent architectures to move beyond learning the successor function to simulating the counting process more generally, and point towards a deeper understanding of what it means to understand the countably infinite.
- Abstract（参考訳）: 小学校に入ると、最初の50～100個の数字を記憶した数列から、後継関数を知り、数え切れないほど無限となる数列へと、数字の順序構造に対する理解が移行する。
本研究では,N in (0, 98) のペア (N, N+1) における後継関数を学習する2つのニューラルネットワークモデルの発達変化について検討する。
第1のモデルは入力と出力の値の1ホットエンコーディングを使用し、カウントリストを記憶する子供に対応し、第2のモデルはプレースバリューエンコーディングを使用し、番号を命名するための言語規則を学ぶ子供たちに対応する。
プレース・バリュー・モデルは、テンソル境界を越えた表現的類似性の低下を予測した。
テンソル境界を数えることは2次元空間におけるベクトル演算として理解でき、同じテンソル配置の数は線形に分離可能な方法で整理されるが、同じテンソル配置の数はグループ化される。
カリキュラム学習シミュレーションは, 発達期児の発達する数値環境において, より少ない数の表現が, より大きい数の表現が学習され始めれば, より鋭くなり続けることを示唆している。
これらのモデルは、リカレントアーキテクチャを使用して、後続関数の学習を超えて、より一般的に数え上げ過程をシミュレートし、数え切れないほどの無限を理解することが何を意味するのかをより深く理解するために、将来の作業のステージを設定した。
関連論文リスト
- Laying Anchors: Semantically Priming Numerals in Language Modeling [11.831883526217942]
我々は,任意のコーパスにおいて,そのコーパス内の数値の分布に支配されるアンカーを生成することによって,意味的に素数に戦略を導入する。
学習した埋め込みの数学的基礎の大幅な改善を示す。
論文 参考訳（メタデータ） (2024-04-02T00:02:00Z) - Premonition: Using Generative Models to Preempt Future Data Changes in
Continual Learning [63.850451635362425]
継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。
本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。
トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
論文 参考訳（メタデータ） (2024-03-12T06:29:54Z) - Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳（メタデータ） (2024-03-04T08:38:56Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳（メタデータ） (2024-01-23T18:59:21Z) - Estimating Numbers without Regression [30.79061214333164]
近年の言語モデルの成功にもかかわらず、数を表す能力は不十分である。
代名詞のトークン化は、数字を任意のチャンクに分割することで、明確に大きさをキャプチャすることができない。
代わりにモデルの語彙を変更する(例えば、範囲10～100の数値に新しいトークンを導入する)ことが、はるかに優れたトレードオフであることを示す。
論文 参考訳（メタデータ） (2023-10-09T23:07:05Z) - Benchmarking Compositionality with Formal Languages [64.09083307778951]
我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。
多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。
モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
論文 参考訳（メタデータ） (2022-08-17T10:03:18Z) - Disentangled Action Recognition with Knowledge Bases [77.77482846456478]
本研究では,新規な動詞や新規な名詞に対する合成行動認識モデルの一般化能力の向上を目指す。
従来の作業では、知識グラフ内の動詞-名詞合成アクションノードを使用しており、スケールを非効率にしている。
本提案手法は, 行動の固有な構成性を活用する, 知識ベースを用いた不整合行動認識(DARK)である。
論文 参考訳（メタデータ） (2022-07-04T20:19:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Abstraction, Reasoning and Deep Learning: A Study of the "Look and Say"
Sequence [0.0]
ディープニューラルネットワークは、大規模なデータセットでトレーニングされた場合、高い能力(精度で測定される)を示すことができる。
パズルデータ「Look and Say」の2つのセット実験について報告する。
トレーニングデータとテストデータの両方で)驚くべき精度にもかかわらず、実際のL&Sシーケンス上でのトレーニングプログラムのパフォーマンスは悪いです。
論文 参考訳（メタデータ） (2021-09-27T01:41:37Z) - Investigating the Limitations of the Transformers with Simple Arithmetic
Tasks [10.23804850480924]
その結果,表層形状における数値の表現方法がモデルの精度に強い影響を与えていることがわかった。
現代の事前学習型言語モデルは,ごく少数の例から容易に算術を学習できると結論付けている。
論文 参考訳（メタデータ） (2021-02-25T17:22:53Z) - Neural Execution Engines: Learning to Execute Subroutines [29.036699193820215]
本稿では, ソート, 最短経路, 最小スパンニング木などの共通アルゴリズムを構成する数値サブルーチンのレベルでの一般化問題について検討する。
データを一般化するために、バイナリ表現で数値を符号化すると、加算や乗算のような下流のタスクで訓練されたリッチな構造で埋め込みされることを示す。
論文 参考訳（メタデータ） (2020-06-15T01:51:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。