論文の概要: Blackbird's language matrices (BLMs): a new benchmark to investigate
disentangled generalisation in neural networks
- arxiv url: http://arxiv.org/abs/2205.10866v1
- Date: Sun, 22 May 2022 16:51:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 17:10:43.393910
- Title: Blackbird's language matrices (BLMs): a new benchmark to investigate
disentangled generalisation in neural networks
- Title(参考訳): blackbird's language matrices (blms) : ニューラルネットワークにおける不連続一般化を調べるための新しいベンチマーク
- Authors: Paola Merlo, Aixiu An and Maria A. Rodriguez
- Abstract要約: ブラックバードの言語行列(BLM)は,ラヴェンの進行行列の言語的変種をテストするために開発された,新しい文法的データセットである。
このデータセットは44800の文から構成されており、現在のモデルにおける文法的合意規則の言語的熟達の調査を支援するために生成的に構築されている。
この言語タスクと、それをインスタンス化するデータは、一般化と抽象化を理解するために、新しい挑戦的なテストベッドを提供することを示す。
- 参考スコア(独自算出の注目度): 2.5567566997688034
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Current successes of machine learning architectures are based on
computationally expensive algorithms and prohibitively large amounts of data.
We need to develop tasks and data to train networks to reach more complex and
more compositional skills. In this paper, we illustrate Blackbird's language
matrices (BLMs), a novel grammatical dataset developed to test a linguistic
variant of Raven's progressive matrices, an intelligence test usually based on
visual stimuli. The dataset consists of 44800 sentences, generatively
constructed to support investigations of current models' linguistic mastery of
grammatical agreement rules and their ability to generalise them. We present
the logic of the dataset, the method to automatically construct data on a large
scale and the architecture to learn them. Through error analysis and several
experiments on variations of the dataset, we demonstrate that this language
task and the data that instantiate it provide a new challenging testbed to
understand generalisation and abstraction.
- Abstract(参考訳): 機械学習アーキテクチャの現在の成功は、計算に高価なアルゴリズムと違法な大量のデータに基づいている。
より複雑で構成的なスキルに到達するために、ネットワークをトレーニングするためのタスクとデータを開発する必要があります。
本稿では,blackbird's language matrices (blms) について述べる。これは,raven's progressive matrices の言語的変種をテストするために開発された,新しい文法データセットである。
このデータセットは44800文で構成されており、現在モデルの文法的合意規則の言語的熟達とその一般化能力を調査するために生成的に構築されている。
本稿では,データセットの論理,大規模データを自動的に構築する手法,それを学ぶためのアーキテクチャを提案する。
エラー分析とデータセットのバリエーションに関するいくつかの実験を通じて、この言語タスクとそれをインスタンス化するデータによって、一般化と抽象化を理解するための新たな挑戦的なテストベッドが提供されることを実証する。
関連論文リスト
- The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122
Language Variants [82.6462524808751]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。
このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文 参考訳(メタデータ) (2023-08-31T17:43:08Z) - Assessing Linguistic Generalisation in Language Models: A Dataset for
Brazilian Portuguese [4.941630596191806]
ブラジルポルトガル語で開発されたモデルで符号化された言語情報を検査する本質的な評価課題を提案する。
これらのタスクは、異なる言語モデルが文法構造やマルチワード表現に関連する情報を一般化する方法を評価するために設計されている。
論文 参考訳(メタデータ) (2023-05-23T13:49:14Z) - Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。
我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。
OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
論文 参考訳(メタデータ) (2023-05-04T12:21:52Z) - Cross-Domain Generalization and Knowledge Transfer in Transformers
Trained on Legal Data [0.0]
異なる型システムで注釈付けされたデータセット間で知識を伝達する事前学習言語モデルの解析を行う。
文がケース決定で果たす修辞的役割の予測は、AI & Lawにおいて重要かつしばしば研究される課題である。
論文 参考訳(メタデータ) (2021-12-15T04:23:14Z) - Improving Classifier Training Efficiency for Automatic Cyberbullying
Detection with Feature Density [58.64907136562178]
言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。
データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。
データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
論文 参考訳(メタデータ) (2021-11-02T15:48:28Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳(メタデータ) (2020-12-18T15:53:50Z) - Automated Source Code Generation and Auto-completion Using Deep
Learning: Comparing and Discussing Current Language-Model-Related Approaches [0.0]
本稿では、異なるディープラーニングアーキテクチャを比較して、プログラミングコードに基づく言語モデルを作成し、使用する。
それぞれのアプローチのさまざまな長所と短所と、言語モデルを評価したり、実際のプログラミングコンテキストでそれらを適用するためのギャップについて論じる。
論文 参考訳(メタデータ) (2020-09-16T15:17:04Z) - Systematic Generalization on gSCAN with Language Conditioned Embedding [19.39687991647301]
体系的一般化とは、学習アルゴリズムが学習した振る舞いを目に見えない状況に外挿する能力を指す。
本稿では,入力自然言語を条件とした動的メッセージパッシングによるオブジェクトの文脈的埋め込みを学習する手法を提案する。
論文 参考訳(メタデータ) (2020-09-11T17:35:05Z) - Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。
本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。
適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文 参考訳(メタデータ) (2020-09-10T03:53:18Z) - Russian Natural Language Generation: Creation of a Language Modelling
Dataset and Evaluation with Modern Neural Architectures [0.0]
ロシア語モデリングのための新しい参照データセットを提供する。
我々は、テキスト生成、すなわち変分オートエンコーダ、および生成的敵ネットワークのための一般的なモダンな手法を実験した。
我々は, 難易度, 文法的正しさ, 語彙的多様性などの指標について, 生成したテキストを評価する。
論文 参考訳(メタデータ) (2020-05-05T20:20:25Z) - ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine
Reading Comprehension [53.037401638264235]
我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。
評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
論文 参考訳(メタデータ) (2019-12-29T07:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。