論文の概要: FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity
Attention Layer based on BERT
- arxiv url: http://arxiv.org/abs/2009.01004v1
- Date: Sat, 22 Aug 2020 08:04:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 07:38:15.547727
- Title: FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity
Attention Layer based on BERT
- Title(参考訳): FAT ALBERT: BERTに基づく意味的類似性注意層を用いた大規模テキストの回答
- Authors: Omar Mossad, Amgad Ahmed, Anandharaju Raju, Hari Karthikeyan, and
Zayed Ahmed
- Abstract要約: 本研究では,最先端の変圧器ネットワークであるBERTをベースとしたモデルを構築した。
私たちは、テスト精度87.79%のリーダーボードで第1位にランクされています。
- 参考スコア(独自算出の注目度): 0.5772546394254112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine based text comprehension has always been a significant research field
in natural language processing. Once a full understanding of the text context
and semantics is achieved, a deep learning model can be trained to solve a
large subset of tasks, e.g. text summarization, classification and question
answering. In this paper we focus on the question answering problem,
specifically the multiple choice type of questions. We develop a model based on
BERT, a state-of-the-art transformer network. Moreover, we alleviate the
ability of BERT to support large text corpus by extracting the highest
influence sentences through a semantic similarity model. Evaluations of our
proposed model demonstrate that it outperforms the leading models in the
MovieQA challenge and we are currently ranked first in the leader board with
test accuracy of 87.79%. Finally, we discuss the model shortcomings and suggest
possible improvements to overcome these limitations.
- Abstract(参考訳): 機械によるテキスト理解は自然言語処理における重要な研究分野である。
テキストコンテキストとセマンティクスの完全な理解が達成されると、ディープラーニングモデルをトレーニングして、テキスト要約、分類、質問応答など、タスクの大規模なサブセットを解決することが可能になる。
本稿では,質問応答問題,特に多重選択型質問に焦点をあてる。
我々は最先端トランスフォーマーネットワークであるbertに基づくモデルを開発した。
さらに,意味的類似性モデルを用いて,最も影響の高い文を抽出することにより,bertの大規模テキストコーパス支援能力の軽減を図る。
提案モデルの評価から,MovieQA課題における先行モデルよりも優れており,現在,87.79%の精度でリーダボードにランクインしている。
最後に,モデルの欠点を議論し,これらの制限を克服するための改善の可能性を提案する。
関連論文リスト
- Answer Candidate Type Selection: Text-to-Text Language Model for Closed
Book Question Answering Meets Knowledge Graphs [62.20354845651949]
本稿では,この問題を解決するために,事前学習されたテキスト間QAシステム上で機能する新しいアプローチを提案する。
提案手法は,Wikidataの"instance_of"プロパティの型に基づいて,生成した候補のフィルタリングと再ランク付けを行う。
論文 参考訳(メタデータ) (2023-10-10T20:49:43Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - Transformer Models for Text Coherence Assessment [14.132559978971377]
コヒーレンス(coherence)は、テキストの品質の重要な側面であり、その可読性を保証するために不可欠である。
これまでの研究は、エンティティベースの手法、構文パターン、談話関係、最近ではテキストコヒーレンスアセスメントのための従来のディープラーニングアーキテクチャを活用してきた。
バニラ変換器,階層変換器,マルチタスク学習モデル,ファクトベース入力表現モデルという4つの異なるトランスフォーマーアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-09-05T22:27:17Z) - Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring [60.55025339250815]
本研究では、話者条件付き階層型モデリングと呼ばれる非ネイティブASSのための新しいディープラーニング手法を提案する。
本手法では, 口腔熟練度テストが候補に対して複数の応答を評価できるという事実を生かして, 候補に対して複数の応答を評価できる。これらの応答からコンテキストを抽出し, ネットワークに付加的な話者固有のコンテキストとして与えて, 特定の応答をスコアする。
論文 参考訳(メタデータ) (2021-08-30T07:00:28Z) - Toward the Understanding of Deep Text Matching Models for Information
Retrieval [72.72380690535766]
本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。
具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。
LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
論文 参考訳(メタデータ) (2021-08-16T13:33:15Z) - ShufText: A Simple Black Box Approach to Evaluate the Fragility of Text
Classification Models [0.0]
CNN、LSTM、Transformersに基づくディープラーニングアプローチは、テキスト分類における事実上のアプローチである。
これらのシステムは、分類に有用なテキストに現れる重要な単語に過度に依存していることを示す。
論文 参考訳(メタデータ) (2021-01-30T15:18:35Z) - Learning Better Sentence Representation with Syntax Information [0.0]
構文情報と予め訓練された言語モデルを組み合わせるための新しいアプローチを提案する。
本モデルは91.2%の精度を達成し, 文完成作業では37.8%の精度でベースラインモデルを上回った。
論文 参考訳(メタデータ) (2021-01-09T12:15:08Z) - Syntax-Enhanced Pre-trained Model [49.1659635460369]
BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。
既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。
事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
論文 参考訳(メタデータ) (2020-12-28T06:48:04Z) - Robust Question Answering Through Sub-part Alignment [53.94003466761305]
我々はアライメント問題として質問応答をモデル化する。
私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
論文 参考訳(メタデータ) (2020-04-30T09:10:57Z) - Abstractive Text Summarization based on Language Model Conditioning and
Locality Modeling [4.525267347429154]
BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。
さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。
我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
論文 参考訳(メタデータ) (2020-03-29T14:00:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。