論文の概要: Sample-efficient Linguistic Generalizations through Program Synthesis:
Experiments with Phonology Problems
- arxiv url: http://arxiv.org/abs/2106.06566v1
- Date: Fri, 11 Jun 2021 18:36:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 16:15:06.044657
- Title: Sample-efficient Linguistic Generalizations through Program Synthesis:
Experiments with Phonology Problems
- Title（参考訳）: プログラム合成によるサンプル効率言語一般化:音韻問題を用いた実験
- Authors: Saujas Vaduguru, Aalok Sathe, Monojit Choudhury, Dipti Misra Sharma
- Abstract要約: ドメイン固有言語におけるプログラムとして音韻規則を学習する合成モデルを開発した。
我々は、言語学オリンピアードの新たな問題データセットを用いて、少数のトレーニング例からモデルを一般化する能力をテストする。
- 参考スコア（独自算出の注目度）: 12.661592819420727
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural models excel at extracting statistical patterns from large amounts of
data, but struggle to learn patterns or reason about language from only a few
examples. In this paper, we ask: Can we learn explicit rules that generalize
well from only a few examples? We explore this question using program
synthesis. We develop a synthesis model to learn phonology rules as programs in
a domain-specific language. We test the ability of our models to generalize
from few training examples using our new dataset of problems from the
Linguistics Olympiad, a challenging set of tasks that require strong linguistic
reasoning ability. In addition to being highly sample-efficient, our approach
generates human-readable programs, and allows control over the generalizability
of the learnt programs.
- Abstract（参考訳）: ニューラルネットワークは、大量のデータから統計的パターンを抽出するのに優れていますが、少数の例からパターンや言語に関する推論を学ぶのに苦労しています。
この論文では、いくつかの例からうまく一般化した明示的なルールを学べるか?
我々はこの質問をプログラム合成を用いて検討する。
ドメイン固有言語のプログラムとして音韻規則を学習する合成モデルを開発した。
我々は,言語学的推論能力を必要とする課題セットであるOlympiadの新たな問題データセットを用いて,少数の学習例からモデルを一般化する能力をテストする。
提案手法は,高サンプリング効率に加えて,人間の読みやすいプログラムを生成し,学習プログラムの汎用性を制御する。
関連論文リスト
- Learning Mathematical Rules with Large Language Models [10.285317818397298]
本研究では,分散性や方程式の単純化など,特定の数学的規則を学習する大規模言語モデルの能力について検討する。
本稿では、これらのルールを一般化する能力と、単語問題を文脈で再利用する能力を実証的に分析する。
論文 参考訳（メタデータ） (2024-10-22T12:51:51Z) - modeLing: A Novel Dataset for Testing Linguistic Reasoning in Language Models [23.105555180223487]
modeLingはLinguistics Olympiadスタイルのパズルの新しいベンチマークで、AIシステムで数発の推論をテストする。
我々は,大規模なオープンソース言語モデルとGPTをベンチマークで評価した。
論文 参考訳（メタデータ） (2024-06-24T18:00:59Z) - Learning Phonotactics from Linguistic Informants [54.086544221761486]
本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。
提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
論文 参考訳（メタデータ） (2024-05-08T00:18:56Z) - Coupling Large Language Models with Logic Programming for Robust and
General Reasoning from Text [5.532477732693001]
大規模言語モデルは, 意味論的に非常に効果的な数ショットとして機能することを示す。
自然言語文を論理形式に変換し、応答集合プログラムの入力として機能する。
本手法は,bAbI, StepGame, CLUTRR, gSCAN など,いくつかのベンチマークにおいて最先端性能を実現する。
論文 参考訳（メタデータ） (2023-07-15T03:29:59Z) - Language Embeddings Sometimes Contain Typological Generalizations [0.0]
我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。
学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。
いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
論文 参考訳（メタデータ） (2023-01-19T15:09:59Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳（メタデータ） (2020-04-29T04:07:12Z) - Learning Compositional Rules via Neural Program Synthesis [67.62112086708859]
少数の例からルールシステム全体を学習するニューロシンボリックモデルを提案する。
入力からの出力を直接予測する代わりに、前述した例の集合を規定する規則の明示的な体系を誘導するようにモデルを訓練する。
論文 参考訳（メタデータ） (2020-03-12T01:06:48Z) - A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。
本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
論文 参考訳（メタデータ） (2019-04-04T02:03:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。