論文の概要: MLRegTest: A Benchmark for the Machine Learning of Regular Languages
- arxiv url: http://arxiv.org/abs/2304.07687v1
- Date: Sun, 16 Apr 2023 03:49:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 17:47:00.488329
- Title: MLRegTest: A Benchmark for the Machine Learning of Regular Languages
- Title（参考訳）: MLRegTest: 正規言語の機械学習のためのベンチマーク
- Authors: Sam van der Poel, Dakotah Lambert, Kalina Kostyszyn, Tiantian Gao,
Rahul Verma, Derek Andersen, Joanne Chau, Emily Peterson, Cody St. Clair,
Paul Fodor, Chihiro Shibata, Jeffrey Heinz
- Abstract要約: 本稿では、MLRegTestと呼ばれるシーケンス分類における機械学習(ML)システムの新しいベンチマークを示す。
これには1,800の正規言語からのトレーニング、開発、テストセットが含まれている。
MLRegTestにおける異なるニューラルネットワーク(単純RNN,LSTM,GRU,変換器)について検討した。
- 参考スコア（独自算出の注目度）: 0.5473392334760896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating machine learning (ML) systems on their ability to learn known
classifiers allows fine-grained examination of the patterns they can learn,
which builds confidence when they are applied to the learning of unknown
classifiers. This article presents a new benchmark for ML systems on sequence
classification called MLRegTest, which contains training, development, and test
sets from 1,800 regular languages.
Different kinds of formal languages represent different kinds of
long-distance dependencies, and correctly identifying long-distance
dependencies in sequences is a known challenge for ML systems to generalize
successfully. MLRegTest organizes its languages according to their logical
complexity (monadic second order, first order, propositional, or monomial
expressions) and the kind of logical literals (string, tier-string,
subsequence, or combinations thereof). The logical complexity and choice of
literal provides a systematic way to understand different kinds of
long-distance dependencies in regular languages, and therefore to understand
the capacities of different ML systems to learn such long-distance
dependencies.
Finally, the performance of different neural networks (simple RNN, LSTM, GRU,
transformer) on MLRegTest is examined. The main conclusion is that their
performance depends significantly on the kind of test set, the class of
language, and the neural network architecture.
- Abstract（参考訳）: 機械学習(ML)システムの評価と、既知の分類器の学習能力により、学習可能なパターンのきめ細かい検査が可能になり、未知の分類器の学習に適用された場合の信頼性を高める。
本稿では,MLRegTestと呼ばれる,1,800の正規言語からのトレーニング,開発,テストセットを含むシーケンス分類におけるMLシステムのベンチマークについて述べる。
異なる形式言語は、異なる種類の長距離依存を表現し、シーケンス内の長距離依存を正しく識別することは、MLシステムがうまく一般化する上で既知の課題である。
MLRegTestは、その論理的複雑さ(モナディック二階数、一階数、命題数、単項式)と論理的リテラル(文字列、階層文字列、サブシーケンス、またはそれらの組み合わせ)に基づいて言語を編成する。
リテラルの論理的複雑さと選択は、通常の言語におけるさまざまな長距離依存関係を理解するための体系的な方法を提供する。
最後に, MLRegTestにおける異なるニューラルネットワーク(RNN, LSTM, GRU, 変圧器)の性能について検討した。
主な結論は、それらのパフォーマンスがテストセットの種類、言語クラス、ニューラルネットワークアーキテクチャに大きく依存しているということだ。
関連論文リスト
- Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
形式言語理論は、特に認識者に関するものである。
代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。
ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
論文 参考訳（メタデータ） (2024-11-11T16:33:25Z) - What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
大規模言語モデル (LM) は文字列上の分布である。
RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。
RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
論文 参考訳（メタデータ） (2024-06-06T17:34:24Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳（メタデータ） (2024-01-23T18:59:21Z) - Compositional Program Generation for Few-Shot Systematic Generalization [59.57656559816271]
コンポジションプログラムジェネレータ(CPG)と呼ばれるニューロシンボリックアーキテクチャに関する研究
CPGには3つの重要な特徴がある: 文法規則の形で、テキストモジュラリティ、テキストコンポジション、テキストタストラクションである。
SCAN と COGS のベンチマークでは,SCAN の14例と COGS の22例を使用して,完全な一般化を実現している。
論文 参考訳（メタデータ） (2023-09-28T14:33:20Z) - Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。
ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。
実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
論文 参考訳（メタデータ） (2023-09-14T03:36:01Z) - Coupling Large Language Models with Logic Programming for Robust and
General Reasoning from Text [5.532477732693001]
大規模言語モデルは, 意味論的に非常に効果的な数ショットとして機能することを示す。
自然言語文を論理形式に変換し、応答集合プログラムの入力として機能する。
本手法は,bAbI, StepGame, CLUTRR, gSCAN など,いくつかのベンチマークにおいて最先端性能を実現する。
論文 参考訳（メタデータ） (2023-07-15T03:29:59Z) - A Hierarchical Model for Spoken Language Recognition [29.948719321162883]
音声言語認識(SLR)とは、音声サンプルに含まれる言語を決定するための自動処理である。
本稿では,2つのPLDAモデルを訓練し,その1つは高関係言語クラスタのスコアを生成し,もう1つは各クラスタに条件付きスコアを生成するという新しい階層的アプローチを提案する。
この階層的アプローチは、高度に関連性の高い言語を検出する非階層的アプローチよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-01-04T22:10:36Z) - SyGNS: A Systematic Generalization Testbed Based on Natural Language
Semantics [39.845425535943534]
自然言語セマンティックス(SyGNS)に基づく体系的一般化テストベッドを提案する。
ニューラルネットワークが、量化子や否定といった論理式の新しい組み合わせを含む文を体系的に解析できるかどうかを検証する。
実験により、Transformer と GRU モデルは、与えられたトレーニングインスタンスの形式に類似しているが、他のモデルには似ていない量化器、否定器、修飾器の組み合わせに一般化できることが示された。
論文 参考訳（メタデータ） (2021-06-02T11:24:41Z) - Efficient Weight factorization for Multilingual Speech Recognition [67.00151881207792]
エンドツーエンドの多言語音声認識は、多くの言語を含む合成音声コーパスで単一のモデルトレーニングを使用する。
トレーニングデータの各言語には異なる特徴があるため、共有ネットワークは、すべての言語を同時に最適化するのに苦労する可能性がある。
ニューラルネットワークのコア動作をターゲットとした新しい多言語アーキテクチャを提案する:線形変換関数。
論文 参考訳（メタデータ） (2021-05-07T00:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。