Fugu-MT 論文翻訳(概要): FiE: Building a Global Probability Space by Leveraging Early Fusion in Encoder for Open-Domain Question Answering

論文の概要: FiE: Building a Global Probability Space by Leveraging Early Fusion in Encoder for Open-Domain Question Answering

arxiv url: http://arxiv.org/abs/2211.10147v1
Date: Fri, 18 Nov 2022 10:43:39 GMT
ステータス: 処理完了
システム内更新日: 2022-11-21 14:07:59.201357
Title: FiE: Building a Global Probability Space by Leveraging Early Fusion in Encoder for Open-Domain Question Answering
Title（参考訳）: オープンドメイン質問応答のためのエンコーダの早期融合を活用したグローバルな確率空間の構築
Authors: Akhil Kedia, Mohd Abbas Zaidi, Haejun Lee
Abstract要約: 変換器のエンコーダを拡張し,複数の経路から情報を取り出す機能を提案する。また,全サンプルのグローバル空間における解のスコアをよりよく集計するために,確率計算による解法を提案する。
参考スコア（独自算出の注目度）: 12.16428922845186
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Generative models have recently started to outperform extractive models in Open Domain Question Answering, largely by leveraging their decoder to attend over multiple encoded passages and combining their information. However, generative models tend to be larger than extractive models due to the need for a decoder, run slower during inference due to auto-regressive decoder beam search, and their generated output often suffers from hallucinations. We propose to extend transformer encoders with the ability to fuse information from multiple passages, using global representation to provide cross-sample attention over all tokens across samples. Furthermore, we propose an alternative answer span probability calculation to better aggregate answer scores in the global space of all samples. Using our proposed method, we outperform the current state-of-the-art method by $2.5$ Exact Match score on the Natural Question dataset while using only $25\%$ of parameters and $35\%$ of the latency during inference, and $4.4$ Exact Match on WebQuestions dataset. When coupled with synthetic data augmentation, we outperform larger models on the TriviaQA dataset as well. The latency and parameter savings of our method make it particularly attractive for open-domain question answering, as these models are often compute-intensive.
Abstract（参考訳）: 生成モデル(generative models)は、オープンドメインの質問応答において、抽出モデルよりも優れ始めており、主に、デコーダを活用して複数のエンコードされたパッセーションに出席し、情報を結合することで実現している。しかし、生成モデルはデコーダを必要とするため抽出モデルよりも大きい傾向にあり、自己回帰デコーダビーム探索による推論中に動作が遅くなり、生成された出力はしばしば幻覚に苦しむ。本稿では,複数のパスから情報をヒューズできるトランスフォーマティブエンコーダを拡張し,グローバル表現を用いてサンプル間の全トークンにクロスサンプルの注意を向ける手法を提案する。さらに,全サンプルのグローバル空間における回答スコアを集計するために,代替回答スパン確率計算を提案する。提案手法を用いた場合,提案手法は,パラメータの25～$$と推論時のレイテンシの35～$$,webquestionsデータセットの4.4〜$で,自然質問データセットの正確なマッチングスコアが2.5ドルと,現在の最先端手法を上回っている。合成データ拡張と組み合わせると、triviaqaデータセットのより大きなモデルよりも優れています。我々の手法のレイテンシとパラメータの節約は、これらのモデルがしばしば計算集約であるため、オープンドメインの質問応答にとって特に魅力的である。

関連論文リスト

TabDiff: a Multi-Modal Diffusion Model for Tabular Data Generation [91.50296404732902]
1つのモデルで表データのマルチモーダル分布をモデル化する共同拡散フレームワークであるTabDiffを紹介する。我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
論文参考訳（メタデータ） (2024-10-27T22:58:47Z)
FastFiD: Improve Inference Efficiency of Open Domain Question Answering via Sentence Selection [61.9638234358049]
FastFiDは、エンコードされたパスで文の選択を実行する新しいアプローチである。これにより、価値ある文を保持するのに役立ち、回答を生成するのに必要な文脈長を減らすことができる。
論文参考訳（メタデータ） (2024-08-12T17:50:02Z)
Weighted Sparse Partial Least Squares for Joint Sample and Feature Selection [7.219077740523681]
本稿では, 共同サンプルと特徴選択のために, $ell_infty/ell_0$-norm制約付きスパースPSS(ell_infty/ell_$-wsPLS)法を提案する。我々は,各マルチビューwsPLSモデルに対して効率的な反復アルゴリズムを開発し,その収束性を示す。
論文参考訳（メタデータ） (2023-08-13T10:09:25Z)
Variational Diffusion Auto-encoder: Latent Space Extraction from Pre-trained Diffusion Models [0.0]
可変オートエンコーダ(VAE)は、生成された画像の品質の問題に直面し、しばしば目立った曖昧さを示す。この問題は、条件付きデータ分布を近似する非現実的な仮定である $p(textbfx | textbfz)$ が等方ガウス的であることに由来する。本稿では,エンコーダを最適化することにより,既存の拡散モデルから潜在空間を抽出し,限界データのログ化を最大化する方法について述べる。
論文参考訳（メタデータ） (2023-04-24T14:44:47Z)
Knowledge-integrated AutoEncoder Model [0.0]
本稿では,外部知識源を学習プロセスに統合できるAEモデル開発のための新しいアプローチを提案する。提案モデルは,3つの異なる科学分野の大規模データセットを用いて評価する。
論文参考訳（メタデータ） (2023-03-12T18:00:12Z)
Unite and Conquer: Plug & Play Multi-Modal Synthesis using Diffusion Models [54.1843419649895]
拡散確率モデル(DDPM)に基づく解を提案する。他の生成モデルよりも拡散モデルを選択する動機は、拡散モデルの柔軟な内部構造に由来する。提案手法は,複数のサブタスクで訓練された複数の拡散モデルを統一し,組み合わせたタスクを克服する。
論文参考訳（メタデータ） (2022-12-01T18:59:55Z)
Robust One Round Federated Learning with Predictive Space Bayesian Inference [19.533268415744338]
クライアントの予測後部を用いて,グローバルな予測後部を近似する方法を示す。本稿では,各クライアントでMCMCサンプリングを行い,局所的な後部推定を行い,それらを1ラウンドで集約し,大域的なアンサンブルモデルを得るアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-06-20T01:06:59Z)
KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering [68.00631278030627]
検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
論文参考訳（メタデータ） (2021-10-08T18:39:59Z)
Towards Universal Dense Retrieval for Open-domain Question Answering [0.0]
オープンドメイン質問応答では、モデルが入力としてテキスト質問を受け取り、大きなエビデンスコーパスを使用して正しい回答を検索する。最近では、デファクト検索法としてスパース法が置き換えられている。
論文参考訳（メタデータ） (2021-09-23T00:43:01Z)
Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering [61.394478670089065]
オープンドメインの質問に答えるための生成モデルは、外部の知識に頼らずに競争力があることが証明されている。我々は、これらのモデルがテキストの文節を検索することでどれだけの恩恵を受けられるかを調査し、潜在的に証拠を含む可能性がある。検索したパス数を増やすと,本手法の性能が著しく向上することがわかった。
論文参考訳（メタデータ） (2020-07-02T17:44:57Z)
ClarQ: A large-scale and diverse dataset for Clarification Question Generation [67.1162903046619]
そこで我々は,スタックエクスチェンジから抽出したポストコメンデーションに基づいて,多様な,大規模な明確化質問データセットの作成を支援する,新しいブートストラップフレームワークを考案した。質問応答の下流タスクに適用することで,新たに作成したデータセットの有用性を定量的に示す。我々はこのデータセットを公開し、ダイアログと質問応答システムの拡張という大きな目標を掲げて、質問生成の分野の研究を促進する。
論文参考訳（メタデータ） (2020-06-10T17:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。