論文の概要: Syntax-informed Question Answering with Heterogeneous Graph Transformer
- arxiv url: http://arxiv.org/abs/2204.09655v1
- Date: Fri, 1 Apr 2022 07:48:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-24 16:10:46.859258
- Title: Syntax-informed Question Answering with Heterogeneous Graph Transformer
- Title（参考訳）: 不均一グラフ変換器を用いた構文インフォームド質問応答
- Authors: Fangyi Zhu, Lok You Tan, See-Kiong Ng, St\'ephane Bressan
- Abstract要約: 本稿では、事前学習されたニューラルネットワークモデルを拡張し、微調整する言語インフォームド質問応答手法を提案する。
本稿では,トークンと仮想トークンを接続する依存関係グラフ構造と領域グラフィック構造という形で,構文情報の追加によるアプローチについて説明する。
- 参考スコア（独自算出の注目度）: 2.139714421848487
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large neural language models are steadily contributing state-of-the-art
performance to question answering and other natural language and information
processing tasks. These models are expensive to train. We propose to evaluate
whether such pre-trained models can benefit from the addition of explicit
linguistics information without requiring retraining from scratch.
We present a linguistics-informed question answering approach that extends
and fine-tunes a pre-trained transformer-based neural language model with
symbolic knowledge encoded with a heterogeneous graph transformer. We
illustrate the approach by the addition of syntactic information in the form of
dependency and constituency graphic structures connecting tokens and virtual
vertices.
A comparative empirical performance evaluation with BERT as its baseline and
with Stanford Question Answering Dataset demonstrates the competitiveness of
the proposed approach. We argue, in conclusion and in the light of further
results of preliminary experiments, that the approach is extensible to further
linguistics information including semantics and pragmatics.
- Abstract（参考訳）: 大規模なニューラルネットワークモデルは、質問応答やその他の自然言語や情報処理タスクに対して、最先端のパフォーマンスを着実に寄与しています。
これらのモデルは訓練に高価です。
本稿では,これらの事前学習モデルが,スクラッチからの再訓練を必要とせず,明示的な言語情報の追加によるメリットを評価できるかどうかを提案する。
異種グラフ変換器で符号化された記号的知識を持つ事前学習型トランスフォーマーベースニューラル言語モデルを拡張し,微調整する言語インフォームド質問応答手法を提案する。
本稿では,トークンと仮想頂点を接続する依存グラフ構造と選択グラフ構造という形で,構文情報を追加するアプローチについて説明する。
BERTをベースラインとし,Stanford Question Answering Datasetを用いた比較実験により,提案手法の競争力を示す。
結論として, 予備実験の結果を踏まえて, このアプローチは, 意味論や実用論を含む, さらなる言語情報に拡張可能であると論じた。
関連論文リスト
- Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳（メタデータ） (2024-05-10T17:11:31Z) - Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳（メタデータ） (2023-11-26T06:56:02Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - Transformer Grammars: Augmenting Transformer Language Models with
Syntactic Inductive Biases at Scale [31.293175512404172]
Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。
また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
論文 参考訳（メタデータ） (2022-03-01T17:22:31Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Zero-shot Commonsense Question Answering with Cloze Translation and
Consistency Optimization [20.14487209460865]
自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。
提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
論文 参考訳（メタデータ） (2022-01-01T07:12:49Z) - Oracle Linguistic Graphs Complement a Pretrained Transformer Language
Model: A Cross-formalism Comparison [13.31232311913236]
言語グラフ表現が神経言語モデリングを補完し改善する程度について検討する。
全体としては、セマンティックな選挙区構造は言語モデリングのパフォーマンスに最も有用である。
論文 参考訳（メタデータ） (2021-12-15T04:29:02Z) - Learning Better Sentence Representation with Syntax Information [0.0]
構文情報と予め訓練された言語モデルを組み合わせるための新しいアプローチを提案する。
本モデルは91.2%の精度を達成し, 文完成作業では37.8%の精度でベースラインモデルを上回った。
論文 参考訳（メタデータ） (2021-01-09T12:15:08Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳（メタデータ） (2020-04-29T04:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。