論文の概要: MLRegTest: A Benchmark for the Machine Learning of Regular Languages
- arxiv url: http://arxiv.org/abs/2304.07687v2
- Date: Thu, 9 Nov 2023 01:29:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 18:38:36.974580
- Title: MLRegTest: A Benchmark for the Machine Learning of Regular Languages
- Title(参考訳): MLRegTest: 正規言語の機械学習のためのベンチマーク
- Authors: Sam van der Poel, Dakotah Lambert, Kalina Kostyszyn, Tiantian Gao,
Rahul Verma, Derek Andersen, Joanne Chau, Emily Peterson, Cody St. Clair,
Paul Fodor, Chihiro Shibata, Jeffrey Heinz
- Abstract要約: 本稿では、MLRegTestと呼ばれるシーケンス分類における機械学習(ML)システムの新しいベンチマークを示す。
これには1,800の正規言語からのトレーニング、開発、テストセットが含まれている。
MLRegTestにおける異なるニューラルネットワーク(単純RNN,LSTM,GRU,変換器)について検討した。
- 参考スコア(独自算出の注目度): 0.293217446505048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating machine learning (ML) systems on their ability to learn known
classifiers allows fine-grained examination of the patterns they can learn,
which builds confidence when they are applied to the learning of unknown
classifiers. This article presents a new benchmark for ML systems on sequence
classification called MLRegTest, which contains training, development, and test
sets from 1,800 regular languages. Different kinds of formal languages
represent different kinds of long-distance dependencies, and correctly
identifying long-distance dependencies in sequences is a known challenge for ML
systems to generalize successfully. MLRegTest organizes its languages according
to their logical complexity (monadic second order, first order, propositional,
or monomial expressions) and the kind of logical literals (string, tier-string,
subsequence, or combinations thereof). The logical complexity and choice of
literal provides a systematic way to understand different kinds of
long-distance dependencies in regular languages, and therefore to understand
the capacities of different ML systems to learn such long-distance
dependencies. Finally, the performance of different neural networks (simple
RNN, LSTM, GRU, transformer) on MLRegTest is examined. The main conclusion is
that their performance depends significantly on the kind of test set, the class
of language, and the neural network architecture.
- Abstract(参考訳): 機械学習(ML)システムの評価と、既知の分類器の学習能力により、学習可能なパターンのきめ細かい検査が可能になり、未知の分類器の学習に適用された場合の信頼性を高める。
本稿では,MLRegTestと呼ばれる,1,800の正規言語からのトレーニング,開発,テストセットを含むシーケンス分類におけるMLシステムのベンチマークについて述べる。
異なる形式言語は、異なる種類の長距離依存を表現し、シーケンス内の長距離依存を正しく識別することは、MLシステムがうまく一般化する上で既知の課題である。
MLRegTestは、その論理的複雑さ(モナディック二階数、一階数、命題数、単項式)と論理的リテラル(文字列、階層文字列、サブシーケンス、またはそれらの組み合わせ)に基づいて言語を編成する。
リテラルの論理的複雑さと選択は、通常の言語におけるさまざまな長距離依存関係を理解するための体系的な方法を提供する。
最後に, MLRegTestにおける異なるニューラルネットワーク(RNN, LSTM, GRU, 変圧器)の性能について検討した。
主な結論は、それらのパフォーマンスがテストセットの種類、言語クラス、ニューラルネットワークアーキテクチャに大きく依存しているということだ。
関連論文リスト
- Metric-Learning Encoding Models Identify Processing Profiles of
Linguistic Features in BERT's Representations [5.893248479095486]
メトリックラーニングモデル(MLEM)は、ニューラルネットワークが処理対象の理論的特徴をどのように表現するかを理解するための新しいアプローチである。
MLEMは、他のドメイン(例えば視覚)や人間の脳などの他の神経系に拡張することができる。
論文 参考訳(メタデータ) (2024-02-18T14:57:53Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳(メタデータ) (2024-01-23T18:59:21Z) - Compositional Program Generation for Few-Shot Systematic Generalization [59.57656559816271]
コンポジションプログラムジェネレータ(CPG)と呼ばれるニューロシンボリックアーキテクチャに関する研究
CPGには3つの重要な特徴がある: 文法規則の形で、テキストモジュラリティ、テキストコンポジション、テキストタストラクションである。
SCAN と COGS のベンチマークでは,SCAN の14例と COGS の22例を使用して,完全な一般化を実現している。
論文 参考訳(メタデータ) (2023-09-28T14:33:20Z) - Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [61.305218287797025]
線形リカレントニューラルネットワークがトレーニングシーケンスに隠された規則を学習できるかを検討する。
ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。
実験結果から,提案モデルが正規言語タスクで長さ外挿を行うことができる唯一のLRNNであることが示唆された。
論文 参考訳(メタデータ) (2023-09-14T03:36:01Z) - Coupling Large Language Models with Logic Programming for Robust and
General Reasoning from Text [5.532477732693001]
大規模言語モデルは, 意味論的に非常に効果的な数ショットとして機能することを示す。
自然言語文を論理形式に変換し、応答集合プログラムの入力として機能する。
本手法は,bAbI, StepGame, CLUTRR, gSCAN など,いくつかのベンチマークにおいて最先端性能を実現する。
論文 参考訳(メタデータ) (2023-07-15T03:29:59Z) - Joint Prompt Optimization of Stacked LLMs using Variational Inference [66.04409787899583]
大規模言語モデル(LLM)は、列上の分布への計算マッピングシーケンスの原子単位と見なすことができる。
そのような2つのレイヤを積み重ねて1つのレイヤの出力を次のレイヤに供給することで、Deep Language Network(DLN)を得る。
DLN-2は単一層よりも高い性能に到達できることを示し、GPT-4に匹敵する性能に達することを約束する。
論文 参考訳(メタデータ) (2023-06-21T18:45:56Z) - Efficient Spoken Language Recognition via Multilabel Classification [53.662747523872305]
我々のモデルは,現在の最先端手法よりも桁違いに小さく,高速でありながら,競争力のある結果が得られることを示す。
我々のマルチラベル戦略は、マルチクラス分類よりも非ターゲット言語の方が堅牢である。
論文 参考訳(メタデータ) (2023-06-02T23:04:19Z) - A Hierarchical Model for Spoken Language Recognition [29.948719321162883]
音声言語認識(SLR)とは、音声サンプルに含まれる言語を決定するための自動処理である。
本稿では,2つのPLDAモデルを訓練し,その1つは高関係言語クラスタのスコアを生成し,もう1つは各クラスタに条件付きスコアを生成するという新しい階層的アプローチを提案する。
この階層的アプローチは、高度に関連性の高い言語を検出する非階層的アプローチよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-01-04T22:10:36Z) - SyGNS: A Systematic Generalization Testbed Based on Natural Language
Semantics [39.845425535943534]
自然言語セマンティックス(SyGNS)に基づく体系的一般化テストベッドを提案する。
ニューラルネットワークが、量化子や否定といった論理式の新しい組み合わせを含む文を体系的に解析できるかどうかを検証する。
実験により、Transformer と GRU モデルは、与えられたトレーニングインスタンスの形式に類似しているが、他のモデルには似ていない量化器、否定器、修飾器の組み合わせに一般化できることが示された。
論文 参考訳(メタデータ) (2021-06-02T11:24:41Z) - Recognizing Long Grammatical Sequences Using Recurrent Networks
Augmented With An External Differentiable Stack [73.48927855855219]
リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。
RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。
これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。
本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
論文 参考訳(メタデータ) (2020-04-04T14:19:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。