Fugu-MT 論文翻訳(概要): Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities

論文の概要: Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities

arxiv url: http://arxiv.org/abs/2005.12533v1
Date: Tue, 26 May 2020 06:18:47 GMT
ステータス: 処理完了
システム内更新日: 2022-11-28 23:20:03.035566
Title: Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities
Title（参考訳）: Transformer-based Sequence Probabilities を用いた記号型自然言語文法の誘導
Authors: Ben Goertzel, Andres Suarez Madrigal, Gino Yu
Abstract要約: 自然言語を統括する構文規則を自動学習する手法を提案する。この方法は、内部表現に言及することなく、トランスフォーマーにおける学習された言語知識を利用する。提案手法の実証例を示し, 教師なしのシンボリックリンク-文法帰納法を導出する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A novel approach to automated learning of syntactic rules governing natural languages is proposed, based on using probabilities assigned to sentences (and potentially longer word sequences) by transformer neural network language models to guide symbolic learning processes like clustering and rule induction. This method exploits the learned linguistic knowledge in transformers, without any reference to their inner representations; hence, the technique is readily adaptable to the continuous appearance of more powerful language models. We show a proof-of-concept example of our proposed technique, using it to guide unsupervised symbolic link-grammar induction methods drawn from our prior research.
Abstract（参考訳）: ニューラルネットワークモデルによって文に割り当てられた確率(および潜在的に長い単語列)を用いて、クラスタリングやルール帰納といったシンボリックな学習プロセスを導くことによって、自然言語を統括する構文規則の自動学習を提案する。この手法はトランスフォーマーにおける学習された言語知識を内部表現に言及することなく活用するので、より強力な言語モデルの連続的な出現に容易に適応できる。本稿では,提案手法の実証例を示し,それを用いて先行研究から得られた教師なしシンボリックリンク文法帰納法を導出する。

関連論文リスト

A distributional simplicity bias in the learning dynamics of transformers [50.91742043564049]
自然言語データに基づいてトレーニングされたトランスフォーマーは、単純さのバイアスも示している。具体的には、入力トークン間の多体相互作用を逐次学習し、低次相互作用の予測誤差において飽和点に達する。このアプローチは、自然言語処理などにおいて、データ内の異なる順序の相互作用が学習にどのように影響するかを研究する可能性を開く。
論文参考訳（メタデータ） (2024-10-25T15:39:34Z)
Leveraging Grammar Induction for Language Understanding and Generation [7.459693992079273]
言語理解と生成のための教師なし文法帰納法を提案する。我々は,下流タスクで同時に訓練された選挙区構造と係り受け関係を誘導する文法を構築した。複数の機械翻訳タスクの自然言語理解タスクに対して,本手法の評価と適用を行った。
論文参考訳（メタデータ） (2024-10-07T09:57:59Z)
Faithful and Plausible Natural Language Explanations for Image Classification: A Pipeline Approach [10.54430941755474]
本稿では,CNNに基づく分類システムに適用可能な,ポストホックな自然言語説明法を提案する。影響力のあるニューロンと対応する活性化マップを分析して、分類器の決定過程の忠実な記述を生成する。実験の結果,提案手法により構築されたNLEは,より信頼性が高く,忠実であることがわかった。
論文参考訳（メタデータ） (2024-07-30T15:17:15Z)
On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文参考訳（メタデータ） (2023-07-04T02:47:42Z)
Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文参考訳（メタデータ） (2023-05-31T16:47:20Z)
Neuro-Symbolic Hierarchical Rule Induction [12.610497441047395]
Inductive Logic Programming (ILP) 問題を解決するために, 効率的な解釈可能なニューロシンボリックモデルを提案する。階層構造で組織されたメタルールの集合から構築されたこのモデルでは、メタルールの事実や体述と一致するように埋め込みを学習することで、一階規則が発明される。我々は, 様々な課題(ILP, 視覚ゲノム, 強化学習)において, 最先端の手法に対して, モデルの有効性を実証的に検証した。
論文参考訳（メタデータ） (2021-12-26T17:02:14Z)
Skill Induction and Planning with Latent Language [94.55783888325165]
我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
論文参考訳（メタデータ） (2021-10-04T15:36:32Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
Generative latent neural models for automatic word alignment [0.0]
変分オートエンコーダは、最近、自然言語処理において、言語生成タスクに有用な教師なしの潜在表現を学習するために、様々な自然言語処理で使用されている。本稿では,単語アライメント作業のためのこれらのモデルについて検討し,バニラ変分オートエンコーダのいくつかの進化について提案・評価する。これらの手法は、Giza++と2つの言語ペアに対して強力なニューラルネットワークアライメントシステムに比較して、競争力のある結果が得られることを実証する。
論文参考訳（メタデータ） (2020-09-28T07:54:09Z)
Syntax-driven Iterative Expansion Language Models for Controllable Text Generation [2.578242050187029]
本稿では,ニューラルテキスト生成に構文的帰納バイアスを導入するための新しいパラダイムを提案する。実験の結果,このパラダイムはテキスト生成に有効であり,LSTMとトランスフォーマーの質と同等の多様性を持つことがわかった。
論文参考訳（メタデータ） (2020-04-05T14:29:40Z)
Learning Compositional Rules via Neural Program Synthesis [67.62112086708859]
少数の例からルールシステム全体を学習するニューロシンボリックモデルを提案する。入力からの出力を直接予測する代わりに、前述した例の集合を規定する規則の明示的な体系を誘導するようにモデルを訓練する。
論文参考訳（メタデータ） (2020-03-12T01:06:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。