論文の概要: Integrating Semantic Information into Sketchy Reading Module of
Retro-Reader for Vietnamese Machine Reading Comprehension
- arxiv url: http://arxiv.org/abs/2301.00429v1
- Date: Sun, 1 Jan 2023 15:28:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 14:53:37.598708
- Title: Integrating Semantic Information into Sketchy Reading Module of
Retro-Reader for Vietnamese Machine Reading Comprehension
- Title（参考訳）: ベトナム語機械読解用レトロリーダのスケッチ読解モジュールへの意味情報の統合
- Authors: Hang Thi-Thu Le, Viet-Duc Ho, Duc-Vu Nguyen, Ngan Luu-Thuy Nguyen
- Abstract要約: SRLタスクのセマンティックロールラベルを使用して、mBERT、XLM-R、PhoBERTといった事前学習言語モデルにセマンティックスを追加する。
改良されたRetro-Readerモデルのエンコーダのセマンティクスをベトナム語機械読解タスクに適用し,肯定的な結果を得た。
- 参考スコア（独自算出の注目度）: 0.22940141855172036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Reading Comprehension has become one of the most advanced and popular
research topics in the fields of Natural Language Processing in recent years.
The classification of answerability questions is a relatively significant
sub-task in machine reading comprehension; however, there haven't been many
studies. Retro-Reader is one of the studies that has solved this problem
effectively. However, the encoders of most traditional machine reading
comprehension models in general and Retro-Reader, in particular, have not been
able to exploit the contextual semantic information of the context completely.
Inspired by SemBERT, we use semantic role labels from the SRL task to add
semantics to pre-trained language models such as mBERT, XLM-R, PhoBERT. This
experiment was conducted to compare the influence of semantics on the
classification of answerability for the Vietnamese machine reading
comprehension. Additionally, we hope this experiment will enhance the encoder
for the Retro-Reader model's Sketchy Reading Module. The improved Retro-Reader
model's encoder with semantics was first applied to the Vietnamese Machine
Reading Comprehension task and obtained positive results.
- Abstract（参考訳）: 機械読解 理解は近年,自然言語処理分野において最も先進的でポピュラーな研究トピックの1つとなっている。
回答可能な質問の分類は機械読解において比較的重要なサブタスクであるが、多くの研究がなされていない。
Retro-Readerはこの問題を効果的に解決した研究の1つだ。
しかし、ほとんどの伝統的な機械読解モデルのエンコーダは一般的なものであり、特にRetro-Readerは文脈の文脈意味情報を完全に活用することができていない。
SemBERTに触発されて、SRLタスクのセマンティックロールラベルを使用して、mBERT、XLM-R、PhoBERTといった事前学習言語モデルにセマンティックスを追加する。
本実験は,ベトナム語機械読解の解答性の分類における意味論の影響を比較検討した。
さらに、この実験がレトロリーダーモデルのsketchy readingモジュールのエンコーダを強化することを期待している。
改良されたRetro-Readerモデルエンコーダのセマンティクスはベトナムの機械読解タスクに適用され、肯定的な結果を得た。
関連論文リスト
- LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation [67.24113079928668]
本稿では、バイリンガル辞書に見られる感覚のカバレッジによって駆動されるデータキュレーション手法であるLexMatcherを提案する。
我々の手法は、WMT2022テストセットの確立されたベースラインよりも優れています。
論文 参考訳（メタデータ） (2024-06-03T15:30:36Z) - BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer [1.911678487931003]
検索ベースの言語モデルは、質問応答タスクにますます採用されている。
我々はREALMフレームワークを適用し,ノルウェー初の検索モデルを開発した。
本研究では,このような学習により,抽出質問応答における読み手のパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-04-19T13:40:47Z) - Revealing Weaknesses of Vietnamese Language Models Through Unanswerable
Questions in Machine Reading Comprehension [2.7528170226206443]
本稿では,現在のベトナム語モノリンガルモデルの言語弱さと強みを包括的に分析する。
またベトナムのMachine Readingベンチマークにおけるアーティファクトの存在を明らかにした。
提案した修正は,解決不可能な質問の品質向上に役立つ。
論文 参考訳（メタデータ） (2023-03-16T20:32:58Z) - Lexical Complexity Prediction: An Overview [13.224233182417636]
テキスト中の未知の単語の発生は、読書の理解を著しく妨げている。
計算モデリングは、テキスト中の複雑な単語を識別し、より単純な代替語に置き換えるために応用されている。
本稿では,英文データに基づく語彙複雑性予測に対する計算手法の概要について述べる。
論文 参考訳（メタデータ） (2023-03-08T19:35:08Z) - Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。
前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。
本稿では,ラベルのないデータを利用して性能を向上する。
論文 参考訳（メタデータ） (2021-05-08T08:04:30Z) - Recurrent Chunking Mechanisms for Long-Text Machine Reading
Comprehension [59.80926970481975]
機械読解(MRC)を長文で研究する。
モデルは長い文書と質問を入力として取り、回答として文書からテキストを抽出する。
我々は、モデルに強化学習を通じてより柔軟な方法でチャンクを学習させることを提案する。
論文 参考訳（メタデータ） (2020-05-16T18:08:58Z) - How Context Affects Language Models' Factual Predictions [134.29166998377187]
検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。
この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
論文 参考訳（メタデータ） (2020-05-10T09:28:12Z) - Machine Translation Pre-training for Data-to-Text Generation -- A Case
Study in Czech [5.609443065827995]
非英語言語におけるデータ・テキスト生成における機械翻訳に基づく事前学習の有効性について検討する。
事前トレーニングによって、パフォーマンスを大幅に向上したエンドツーエンドモデルのトレーニングが可能になります。
論文 参考訳（メタデータ） (2020-04-05T02:47:16Z) - Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。
不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。
本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
論文 参考訳（メタデータ） (2020-01-27T11:14:34Z) - ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine
Reading Comprehension [53.037401638264235]
我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。
評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
論文 参考訳（メタデータ） (2019-12-29T07:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。