論文の概要: Techniques to Improve Q&A Accuracy with Transformer-based models on
Large Complex Documents
- arxiv url: http://arxiv.org/abs/2009.12695v1
- Date: Sat, 26 Sep 2020 21:56:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 08:54:46.217030
- Title: Techniques to Improve Q&A Accuracy with Transformer-based models on
Large Complex Documents
- Title(参考訳): 大規模複合文書上でのトランスフォーマーモデルによるQ&A精度向上手法
- Authors: Chejui Liao, Tabish Maniar, Sravanajyothi N and Anantha Sharma
- Abstract要約: 本稿では,様々な手法の利点と有効性を明らかにするために科学的アプローチを採る。
それは、統計的に有意な精度向上をもたらす最良の組み合わせを結論付けている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper discusses the effectiveness of various text processing techniques,
their combinations, and encodings to achieve a reduction of complexity and size
in a given text corpus. The simplified text corpus is sent to BERT (or similar
transformer based models) for question and answering and can produce more
relevant responses to user queries. This paper takes a scientific approach to
determine the benefits and effectiveness of various techniques and concludes a
best-fit combination that produces a statistically significant improvement in
accuracy.
- Abstract(参考訳): 本稿では,テキストコーパスの複雑さとサイズを低減させるために,テキスト処理技術,それらの組み合わせ,エンコーディングの有効性について論じる。
簡略化されたテキストコーパスは質問や回答のためにBERT(または類似のトランスフォーマーベースモデル)に送られ、ユーザクエリに対してより関連性の高い応答を生成する。
本稿では,様々な手法の利点と有効性を見極める科学的アプローチを採り,統計的に有意な精度向上をもたらす最善の組み合わせを結論づける。
関連論文リスト
- Mind the Gap: A Generalized Approach for Cross-Modal Embedding Alignment [0.0]
Retrieval-Augmented Generation (RAG) システムは、意味的ギャップによって異なるテキストモダリティ間でコンテキストを検索する。
本稿では,これらのギャップを効率的に埋める汎用投影法を提案する。
私たちのアプローチでは、トレーニングや推論に最小限のリソースを必要とするため、スピード、正確性、データ効率を重視しています。
論文 参考訳(メタデータ) (2024-10-30T20:28:10Z) - QAEA-DR: A Unified Text Augmentation Framework for Dense Retrieval [12.225881591629815]
厳密な検索では、長いテキストを密度の高いベクトルに埋め込むと、情報が失われ、クエリとテキストのマッチングが不正確になる。
近年の研究では,文の埋め込みモデルや検索プロセスの改善を中心に研究が進められている。
本稿では,高密度検索のための新しいテキスト拡張フレームワークを導入し,生文書を高密度テキスト形式に変換する。
論文 参考訳(メタデータ) (2024-07-29T17:39:08Z) - TexIm FAST: Text-to-Image Representation for Semantic Similarity Evaluation using Transformers [2.7651063843287718]
TexIm FASTは、トランスフォーマー(TexIm FAST)を用いた意味評価のための自己教師付き変分自動エンコーダ(VAE)による固定長表現を生成する新しい手法である。
画像表現は、言語的な複雑さを維持しながら、暗黙の推論を可能にし、クロスモーダルな応用において強力である。
TexIm FASTの有効性は、MSRPC、CNN/Daily Mail、XSumデータセット上でのセマンティックテキスト類似性(STS)のタスクに対して広く分析されている。
論文 参考訳(メタデータ) (2024-06-06T18:28:50Z) - Rank Your Summaries: Enhancing Bengali Text Summarization via
Ranking-based Approach [0.0]
本稿では,単純かつ効果的なランキングベースアプローチを用いて,与えられたテキストの最も正確かつ情報的な要約を特定することを目的とする。
事前学習した4つの要約モデルを用いて要約を生成し、次いでテキストランキングアルゴリズムを適用して最も適した要約を識別する。
実験結果から, 事前学習したトランスモデルの強度を利用して, ベンガル文字要約の精度と有効性を大幅に向上させることが示唆された。
論文 参考訳(メタデータ) (2023-07-14T15:07:20Z) - ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。
これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。
種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
論文 参考訳(メタデータ) (2022-09-25T13:05:33Z) - Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。
事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。
実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文 参考訳(メタデータ) (2022-08-01T06:51:45Z) - HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware
Transformer Reranking [16.592276887533714]
HLATR(Hybrid List Aware Transformer Re rank)は、検索機能とステージ機能の両方を組み込んだ後継モジュールである。
HLATRは軽量で、既存のテキスト検索システムと容易に並列化できる。
2つの大規模テキスト検索データセットの実証実験により、HLATRは既存の多段階テキスト検索手法のランク付け性能を効率的に向上できることが示された。
論文 参考訳(メタデータ) (2022-05-21T11:38:33Z) - Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。
並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。
テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
論文 参考訳(メタデータ) (2022-04-15T07:38:08Z) - HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text
Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。
単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文 参考訳(メタデータ) (2021-10-12T22:42:31Z) - Text Compression-aided Transformer Encoding [77.16960983003271]
本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。
バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。
評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
論文 参考訳(メタデータ) (2021-02-11T11:28:39Z) - Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。
トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文 参考訳(メタデータ) (2020-10-13T15:20:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。