Fugu-MT 論文翻訳(概要): Oracle Linguistic Graphs Complement a Pretrained Transformer Language Model: A Cross-formalism Comparison

論文の概要: Oracle Linguistic Graphs Complement a Pretrained Transformer Language Model: A Cross-formalism Comparison

arxiv url: http://arxiv.org/abs/2112.07874v1
Date: Wed, 15 Dec 2021 04:29:02 GMT
ステータス: 処理完了
システム内更新日: 2021-12-16 14:49:43.335067
Title: Oracle Linguistic Graphs Complement a Pretrained Transformer Language Model: A Cross-formalism Comparison
Title（参考訳）: oracleの言語グラフは事前学習されたトランスフォーマリズムモデルを補完する:クロスフォルマリズムの比較
Authors: Jakob Prange, Nathan Schneider, Lingpeng Kong
Abstract要約: 言語グラフ表現が神経言語モデリングを補完し改善する程度について検討する。全体としては、セマンティックな選挙区構造は言語モデリングのパフォーマンスに最も有用である。
参考スコア（独自算出の注目度）: 13.31232311913236
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We examine the extent to which, in principle, linguistic graph representations can complement and improve neural language modeling. With an ensemble setup consisting of a pretrained Transformer and ground-truth graphs from one of 7 different formalisms, we find that, overall, semantic constituency structures are most useful to language modeling performance -- outpacing syntactic constituency structures as well as syntactic and semantic dependency structures. Further, effects vary greatly depending on part-of-speech class. In sum, our findings point to promising tendencies in neuro-symbolic language modeling and invite future research quantifying the design choices made by different formalisms.
Abstract（参考訳）: 基本的に、言語グラフ表現がニューラルネットワークのモデリングを補完し、改善できる範囲について検討する。 7つの異なる形式のうちの1つから、事前学習されたトランスフォーマリズムと接地グラフからなるアンサンブル構成により、全体的な意味構成構造は、言語モデリングのパフォーマンス - 構文的構成構造と構文的および意味的依存構造に最も有用であることが分かる。さらに、効果は音声のクラスによって大きく異なる。結論として,神経シンボリック言語モデリングにおける有望な傾向を示し,異なる形式的手法による設計選択を定量化する今後の研究を招待する。

関連論文リスト

Analyzing The Language of Visual Tokens [48.62180485759458]
我々は、離散的な視覚言語を分析するために、自然言語中心のアプローチをとる。トークンの高度化はエントロピーの増大と圧縮の低下を招き,トークンが主にオブジェクト部品を表すことを示す。また、視覚言語には結合的な文法構造が欠如していることが示され、自然言語と比較して難易度が高く、階層構造が弱いことが判明した。
論文参考訳（メタデータ） (2024-11-07T18:59:28Z)
Contextualized word senses: from attention to compositionality [0.10878040851637999]
本稿では,文脈感覚を符号化する透過的,解釈可能,言語的に動機づけられた戦略を提案する。特に依存関係や選択選好やパラダイムクラスといった意味概念に注意が向けられる。
論文参考訳（メタデータ） (2023-12-01T16:04:00Z)
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文参考訳（メタデータ） (2023-11-26T06:56:02Z)
Learning Disentangled Representations for Natural Language Definitions [0.0]
テキストデータの連続的な構文的・意味的規則性は、構造的バイアスと生成的要因の両方をモデルに提供するのに有効である、と我々は主張する。本研究では,文型,定義文の表現的・意味的に密接なカテゴリに存在する意味的構造を利用して,不整合表現を学習するための変分オートエンコーダを訓練する。
論文参考訳（メタデータ） (2022-09-22T14:31:55Z)
Syntax-informed Question Answering with Heterogeneous Graph Transformer [2.139714421848487]
本稿では、事前学習されたニューラルネットワークモデルを拡張し、微調整する言語インフォームド質問応答手法を提案する。本稿では,トークンと仮想トークンを接続する依存関係グラフ構造と領域グラフィック構造という形で,構文情報の追加によるアプローチについて説明する。
論文参考訳（メタデータ） (2022-04-01T07:48:03Z)
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
論文参考訳（メタデータ） (2022-03-01T17:22:31Z)
Syntactic Persistence in Language Models: Priming as a Window into Abstract Language Representations [0.38498574327875945]
本稿では,現代のニューラル言語モデルが統語的プライミングにどの程度影響するかについて検討する。プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。単語と意味の相違があるが,同じ構文構造を持つ複数の文をプライミングした場合,驚くほど強いプライミング効果が報告される。
論文参考訳（メタデータ） (2021-09-30T10:38:38Z)
Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文参考訳（メタデータ） (2020-12-10T01:27:24Z)
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文参考訳（メタデータ） (2020-10-11T15:13:18Z)
Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文参考訳（メタデータ） (2020-09-10T03:53:18Z)
Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。実験研究を支援するために,単語順と形態的類似度指標を算出した。
論文参考訳（メタデータ） (2020-04-29T03:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。