Fugu-MT 論文翻訳(概要): Pretrained Transformers for Simple Question Answering over Knowledge Graphs

論文の概要: Pretrained Transformers for Simple Question Answering over Knowledge Graphs

arxiv url: http://arxiv.org/abs/2001.11985v1
Date: Fri, 31 Jan 2020 18:14:17 GMT
ステータス: 処理完了
システム内更新日: 2023-01-05 05:35:34.613965
Title: Pretrained Transformers for Simple Question Answering over Knowledge Graphs
Title（参考訳）: 知識グラフを用いた質問応答のための事前学習トランスフォーマー
Authors: D. Lukovnikov, A. Fischer, J. Lehmann
Abstract要約: 最近、様々な自然言語処理タスクにおいて、事前訓練されたトランスフォーマーネットワーク(例えばBERT)が従来の手法より優れていることが示されている。本研究では, BERT が SimpleQuestions 上でどのように機能するかを検証し, データスパースシナリオにおける BERT と BiLSTM をベースとしたモデルの評価を行う。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Answering simple questions over knowledge graphs is a well-studied problem in question answering. Previous approaches for this task built on recurrent and convolutional neural network based architectures that use pretrained word embeddings. It was recently shown that finetuning pretrained transformer networks (e.g. BERT) can outperform previous approaches on various natural language processing tasks. In this work, we investigate how well BERT performs on SimpleQuestions and provide an evaluation of both BERT and BiLSTM-based models in datasparse scenarios.
Abstract（参考訳）: 知識グラフに関する単純な質問に答えることは、質問応答におけるよく研究された問題である。このタスクに対する以前のアプローチは、事前学習された単語埋め込みを使用するリカレントおよび畳み込みニューラルネットワークベースのアーキテクチャに基づいている。最近、様々な自然言語処理タスクにおいて、事前訓練されたトランスフォーマーネットワーク(例えばBERT)が従来の手法より優れていることが示されている。本研究では, BERT が SimpleQuestions 上でどのように機能するかを検証し, データスパースシナリオにおける BERT と BiLSTM をベースとしたモデルの評価を行う。

関連論文リスト

In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
論文参考訳（メタデータ） (2024-08-19T16:47:46Z)
Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文参考訳（メタデータ） (2023-06-26T17:58:50Z)
Evaluating Prompt-based Question Answering for Object Prediction in the Open Research Knowledge Graph [0.0]
本研究は,テクスチャ学習用グラフオブジェクト予測のためのトランスフォーマーの即時学習導入に関する成果を報告する。学術知識グラフのオブジェクトを予測するためにエンティティと関係抽出パイプラインを提案する他の研究から逸脱する。 i) 期待値当たり、(i) 新たなデータ領域でテストされた場合のトランスフォーマーモデル、(ii) モデルの迅速なトレーニングにより、緩和された評価設定で最大40%の性能向上が達成されることがわかった。
論文参考訳（メタデータ） (2023-05-22T10:35:18Z)
Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
論文参考訳（メタデータ） (2023-03-02T09:03:43Z)
Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文参考訳（メタデータ） (2022-11-18T15:09:03Z)
Unveiling Transformers with LEGO: a synthetic reasoning task [23.535488809197787]
我々は、トランスフォーマーアーキテクチャが推論の連鎖に従うことを学ぶ方法について研究する。一部のデータ構造では、訓練されたトランスフォーマーは、推論の連鎖に従う"ショートカット"ソリューションを見つける。このようなショートカットが適切なアーキテクチャ修正やデータ準備によって防止できることが分かりました。
論文参考訳（メタデータ） (2022-06-09T06:30:17Z)
Understanding Unnatural Questions Improves Reasoning over Text [54.235828149899625]
生テキストに対する複雑な質問応答(CQA)は難しい課題である。効果的なCQAモデルを学ぶには、大量の人間が注釈付けしたデータが必要である。我々は、自然の人間生成の質問を非自然の機械生成の質問に投影することで、高品質なプログラマ(パーザ)を学ぶという課題に対処する。
論文参考訳（メタデータ） (2020-10-19T10:22:16Z)
Towards Interpreting BERT for Reading Comprehension Based QA [19.63539594339302]
BERTとその変種は様々なNLPタスクで最先端のパフォーマンスを達成した。本研究は, BERT を読解型質問文に解釈しようとするものである。初期レイヤは問合せと問合せのインタラクションに重点を置いているのに対して,後期レイヤは文脈理解に重点を置いて回答予測を強化している。
論文参考訳（メタデータ） (2020-10-18T13:33:49Z)
Neural Databases [23.273308740532254]
本稿では,事前定義されたスキーマを持たないデータベースシステムについて述べる。我々は、NeuralDBとそのコンポーネントの精度を実験的に検証し、非常に高い精度で何千もの文に対する問合せに答えられることを示す。
論文参考訳（メタデータ） (2020-10-14T11:31:53Z)
Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文参考訳（メタデータ） (2020-10-13T15:20:32Z)
FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity Attention Layer based on BERT [0.5772546394254112]
本研究では,最先端の変圧器ネットワークであるBERTをベースとしたモデルを構築した。私たちは、テスト精度87.79%のリーダーボードで第1位にランクされています。
論文参考訳（メタデータ） (2020-08-22T08:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。