論文の概要: Guiding Symbolic Natural Language Grammar Induction via
Transformer-Based Sequence Probabilities
- arxiv url: http://arxiv.org/abs/2005.12533v1
- Date: Tue, 26 May 2020 06:18:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 23:20:03.035566
- Title: Guiding Symbolic Natural Language Grammar Induction via
Transformer-Based Sequence Probabilities
- Title(参考訳): Transformer-based Sequence Probabilities を用いた記号型自然言語文法の誘導
- Authors: Ben Goertzel, Andres Suarez Madrigal, Gino Yu
- Abstract要約: 自然言語を統括する構文規則を自動学習する手法を提案する。
この方法は、内部表現に言及することなく、トランスフォーマーにおける学習された言語知識を利用する。
提案手法の実証例を示し, 教師なしのシンボリックリンク-文法帰納法を導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A novel approach to automated learning of syntactic rules governing natural
languages is proposed, based on using probabilities assigned to sentences (and
potentially longer word sequences) by transformer neural network language
models to guide symbolic learning processes like clustering and rule induction.
This method exploits the learned linguistic knowledge in transformers, without
any reference to their inner representations; hence, the technique is readily
adaptable to the continuous appearance of more powerful language models. We
show a proof-of-concept example of our proposed technique, using it to guide
unsupervised symbolic link-grammar induction methods drawn from our prior
research.
- Abstract(参考訳): ニューラルネットワークモデルによって文に割り当てられた確率(および潜在的に長い単語列)を用いて、クラスタリングやルール帰納といったシンボリックな学習プロセスを導くことによって、自然言語を統括する構文規則の自動学習を提案する。
この手法はトランスフォーマーにおける学習された言語知識を内部表現に言及することなく活用するので、より強力な言語モデルの連続的な出現に容易に適応できる。
本稿では,提案手法の実証例を示し,それを用いて先行研究から得られた教師なしシンボリックリンク文法帰納法を導出する。
関連論文リスト
- A Transformer-based Approach for Arabic Offline Handwritten Text
Recognition [0.0]
オフラインのアラビア文字を認識できるアーキテクチャを2つ導入する。
私たちのアプローチは言語依存をモデル化することができ、注意機構のみに依存するので、より並列化可能で、より複雑ではありません。
アラビアKHATTデータセットの評価は,提案手法が現在の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-27T17:51:52Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳(メタデータ) (2023-07-04T02:47:42Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳(メタデータ) (2023-05-31T16:47:20Z) - Neuro-Symbolic Hierarchical Rule Induction [12.610497441047395]
Inductive Logic Programming (ILP) 問題を解決するために, 効率的な解釈可能なニューロシンボリックモデルを提案する。
階層構造で組織されたメタルールの集合から構築されたこのモデルでは、メタルールの事実や体述と一致するように埋め込みを学習することで、一階規則が発明される。
我々は, 様々な課題(ILP, 視覚ゲノム, 強化学習)において, 最先端の手法に対して, モデルの有効性を実証的に検証した。
論文 参考訳(メタデータ) (2021-12-26T17:02:14Z) - Skill Induction and Planning with Latent Language [94.55783888325165]
我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。
本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。
訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
論文 参考訳(メタデータ) (2021-10-04T15:36:32Z) - SLM: Learning a Discourse Language Representation with Sentence
Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。
本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文 参考訳(メタデータ) (2020-10-30T13:33:41Z) - Generative latent neural models for automatic word alignment [0.0]
変分オートエンコーダは、最近、自然言語処理において、言語生成タスクに有用な教師なしの潜在表現を学習するために、様々な自然言語処理で使用されている。
本稿では,単語アライメント作業のためのこれらのモデルについて検討し,バニラ変分オートエンコーダのいくつかの進化について提案・評価する。
これらの手法は、Giza++と2つの言語ペアに対して強力なニューラルネットワークアライメントシステムに比較して、競争力のある結果が得られることを実証する。
論文 参考訳(メタデータ) (2020-09-28T07:54:09Z) - Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。
本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
論文 参考訳(メタデータ) (2020-05-04T05:45:13Z) - Syntax-driven Iterative Expansion Language Models for Controllable Text
Generation [2.578242050187029]
本稿では,ニューラルテキスト生成に構文的帰納バイアスを導入するための新しいパラダイムを提案する。
実験の結果,このパラダイムはテキスト生成に有効であり,LSTMとトランスフォーマーの質と同等の多様性を持つことがわかった。
論文 参考訳(メタデータ) (2020-04-05T14:29:40Z) - Learning Compositional Rules via Neural Program Synthesis [67.62112086708859]
少数の例からルールシステム全体を学習するニューロシンボリックモデルを提案する。
入力からの出力を直接予測する代わりに、前述した例の集合を規定する規則の明示的な体系を誘導するようにモデルを訓練する。
論文 参考訳(メタデータ) (2020-03-12T01:06:48Z) - Exploring Neural Models for Parsing Natural Language into First-Order
Logic [10.62143644603835]
英文を1次論理(FOL)に解析する際のニューラルモデルの有用性について検討する。
自然言語文が与えられた場合のシーケンスマッピングタスクとしてFOL解析をモデル化し、LSTMを用いて中間表現に符号化し、次に対応するFOL式で述語を逐次生成するデコーダを用いる。
論文 参考訳(メタデータ) (2020-02-16T09:22:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。