Fugu-MT 論文翻訳(概要): Ordered Memory Baselines

論文の概要: Ordered Memory Baselines

arxiv url: http://arxiv.org/abs/2302.06451v1
Date: Wed, 8 Feb 2023 22:36:25 GMT
ステータス: 処理完了
システム内更新日: 2023-02-19 14:20:42.355972
Title: Ordered Memory Baselines
Title（参考訳）: 順序付きメモリベースライン
Authors: Daniel Borisov, Matthew D'Iorio, Jeffrey Hyacinthe
Abstract要約: We review the Ordered Memory model proposed by Shen et al. at the NeurIPS 2019 conference。 Ordered Memory モデルは木型モデリングで使用される最先端のモデルと同等に動作することがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Natural language semantics can be modeled using the phrase-structured model, which can be represented using a tree-type architecture. As a result, recent advances in natural language processing have been made utilising recursive neural networks using memory models that allow them to infer tree-type representations of the input sentence sequence. These new tree models have allowed for improvements in sentiment analysis and semantic recognition. Here we review the Ordered Memory model proposed by Shen et al. (2019) at the NeurIPS 2019 conference, and try to either create baselines that can perform better or create simpler models that can perform equally as well. We found that the Ordered Memory model performs on par with the state-of-the-art models used in tree-type modelling, and performs better than simplified baselines that require fewer parameters.
Abstract（参考訳）: 自然言語意味論は句構造モデルを用いてモデル化することができ、木型アーキテクチャを用いて表現することができる。その結果、近年の自然言語処理の進歩は、入力文列のツリー型表現を推論できるメモリモデルを用いて再帰的ニューラルネットワークを活用している。これらの新しい木モデルは感情分析と意味認識の改善を可能にした。ここでは、NeurIPS 2019カンファレンスでShen et al. (2019)によって提案されたオーダードメモリモデルについてレビューし、よりよいパフォーマンスを実現するためのベースラインの作成や、同等に機能可能なシンプルなモデルの作成を試みる。 Ordered Memoryモデルはツリー型モデリングで使用される最先端のモデルと同等に動作し、パラメータの少ない単純化されたベースラインよりも性能がよいことがわかった。

関連論文リスト

Unsupervised and Few-shot Parsing from Pretrained Language Models [56.33247845224995]
本研究では,事前学習言語モデルで学習した自己注意重み行列に基づいて,アウトアソシエーションスコアを算出した教師なし構成的パーシングモデルを提案する。教師なしモデルからいくつかの注釈付き木を用いた数ショット構文解析モデルに拡張し、解析のためのより優れた線形射影行列を学習する。 FPIOは20本の注釈付き木で訓練され、50本の注釈付き木で訓練された過去の数枚の構文解析よりも優れていた。
論文参考訳（メタデータ） (2022-06-10T10:29:15Z)
Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文参考訳（メタデータ） (2022-05-30T16:55:59Z)
Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文参考訳（メタデータ） (2022-01-08T00:47:50Z)
R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling [36.61173494449218]
本稿では, 構成過程をエミュレートするために, 微分可能なCKYスタイルのバイナリツリーに基づくモデルを提案する。我々は、このアーキテクチャに対して双方向言語モデル事前学習の目的を拡張し、左右の抽象ノードを与えられた各単語を予測しようと試みる。また,本手法を大規模化するために,合成ステップの線形数だけを符号化する効率的な伐採木誘導アルゴリズムを導入する。
論文参考訳（メタデータ） (2021-07-02T11:00:46Z)
Non-Autoregressive Semantic Parsing for Compositional Task-Oriented Dialog [22.442123799917074]
効率的なseq2seqモデルアーキテクチャを用いて意味解析木を予測する非回帰的手法を提案する。非自己回帰予測と畳み込みニューラルネットワークを組み合わせることで、大きな遅延ゲインとパラメータサイズ削減を実現する。
論文参考訳（メタデータ） (2021-04-11T05:44:35Z)
Attentive Tree-structured Network for Monotonicity Reasoning [2.4366811507669124]
単調性推論のための木構造ニューラルネットワークを開発した。推論タスクの文対から構文解析木情報をモデル化するように設計されている。前提と仮説の表現を整列するために、自己注意集約器が使用される。
論文参考訳（メタデータ） (2021-01-03T01:29:48Z)
Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle [88.65264818967489]
我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
論文参考訳（メタデータ） (2020-10-21T17:39:15Z)
Latent Tree Learning with Ordered Neurons: What Parses Does It Produce? [2.025491206574996]
潜在木学習モデルは、人間に注釈を付けた木構造に触れることなく、選挙区解析を学習することができる。 ON-LSTMは言語モデリングのトレーニングを受けており、教師なし構文解析の最先端性能を持つ。私たちは、異なる再起動でモデルを複製し、それらのパースを調べます。
論文参考訳（メタデータ） (2020-10-10T07:12:48Z)
Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
自然および合成言語に対する文脈自由文法の生成特性をモデル化する。潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
論文参考訳（メタデータ） (2020-10-09T17:47:16Z)
Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
論文参考訳（メタデータ） (2020-05-12T15:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。