論文の概要: Multi-Granularity Guided Fusion-in-Decoder

• arxiv url: http://arxiv.org/abs/2404.02581v1
• Date: Wed, 3 Apr 2024 08:56:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 18:00:28.408838
• Title: Multi-Granularity Guided Fusion-in-Decoder
• Title（参考訳）: マルチグラニュラ性誘導核融合デコーダ
• Authors: Eunseong Choi, Hyeri Lee, Jongwuk Lee,
• Abstract要約: 複数レベルの粒度にまたがる証拠を識別するために,MGFiD(Multi-Granularity Guided Fusion-in-Decoder)を提案する。 MGFiDは、マルチタスク学習に基づいて、文分類でランク付けされた経路を調和させる。 通過プルーニングにおける経路再ランクの結果を再利用することにより、復号効率を向上させる。
• 参考スコア（独自算出の注目度）: 7.87348193562399
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In Open-domain Question Answering (ODQA), it is essential to discern relevant contexts as evidence and avoid spurious ones among retrieved results. The model architecture that uses concatenated multiple contexts in the decoding phase, i.e., Fusion-in-Decoder, demonstrates promising performance but generates incorrect outputs from seemingly plausible contexts. To address this problem, we propose the Multi-Granularity guided Fusion-in-Decoder (MGFiD), discerning evidence across multiple levels of granularity. Based on multi-task learning, MGFiD harmonizes passage re-ranking with sentence classification. It aggregates evident sentences into an anchor vector that instructs the decoder. Additionally, it improves decoding efficiency by reusing the results of passage re-ranking for passage pruning. Through our experiments, MGFiD outperforms existing models on the Natural Questions (NQ) and TriviaQA (TQA) datasets, highlighting the benefits of its multi-granularity solution.
• Abstract（参考訳）: オープンドメイン質問回答(ODQA)では、関連するコンテキストを証拠として識別し、検索された結果のうち刺激的なものを避けることが不可欠である。 復号フェーズにおける複数のコンテクスト、すなわちFusion-in-Decoderを使用するモデルアーキテクチャは、有望な性能を示すが、可視性のあるコンテキストから誤った出力を生成する。 この問題に対処するために,複数レベルの粒度にまたがるエビデンスを識別するMulti-Granularity Guided Fusion-in-Decoder (MGFiD)を提案する。 MGFiDは、マルチタスク学習に基づいて、文分類でランク付けされた経路を調和させる。 明確な文をアンカーベクトルに集約し、デコーダを指示する。 さらに、通過プルーニングにおいて再ランク付けされた通過結果の再利用により復号効率を向上させる。 実験を通じて、MGFiDはNatural Questions(NQ)およびTriviaQA(TQA)データセットの既存のモデルよりも優れており、そのマルチグラニュラリティソリューションの利点を強調している。

関連論文リスト

• RFiD: Towards Rational Fusion-in-Decoder for Open-Domain Question Answering [11.62870729875824]
  Open-Domain Question Answering (ODQA) システムは、複数の節を同時に参照することで回答を生成できるリーダーモデルを必要とする。 この問題に対処するためにRational Fusion-in-Decoder(RFiD)モデルを導入する。
  論文  参考訳（メタデータ） (2023-05-26T15:51:25Z)
• On the Suitability of Representations for Quality Diversity Optimization of Shapes [77.34726150561087]
  進化的アルゴリズムで使用される表現、あるいは符号化は、その性能に大きな影響を及ぼす。 本研究では, 直接符号化, 辞書ベース表現, パラメトリック符号化, 合成パターン生成ネットワーク, セルオートマトンなどの表現が, 酸化メッシュの生成に与える影響について比較した。
  論文  参考訳（メタデータ） (2023-04-07T07:34:23Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Inflected Forms Are Redundant in Question Generation Models [27.49894653349779]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた質問生成の性能向上手法を提案する。 まず,エンコーダの入力から入力された単語を識別し,根語に置き換える。 次に,エンコード・デコーダ・フレームワークにおける以下の動作の組合せとしてQGを適用することを提案する。質問語の生成,ソースシーケンスからの単語のコピー,単語変換型の生成である。
  論文  参考訳（メタデータ） (2023-01-01T13:08:11Z)
• Enhancing Multi-modal and Multi-hop Question Answering via Structured Knowledge and Unified Retrieval-Generation [33.56304858796142]
  マルチモーダルなマルチホップ質問応答は、異なるモーダルから複数の入力ソースを推論することで質問に答える。 既存の手法は、しばしば別々に証拠を検索し、その後言語モデルを使用して、得られた証拠に基づいて回答を生成する。 本稿では,これらの問題に対処するため,構造化知識と統一検索生成(RG)アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:12:04Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering [68.00631278030627]
  検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。 我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
  論文  参考訳（メタデータ） (2021-10-08T18:39:59Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)
• Deterministic Decoding for Discrete Data in Variational Autoencoders [5.254093731341154]
  サンプリングの代わりに最上位のトークンを選択するシーケンシャルデータに対して,決定論的デコーダ(DD-VAE)を用いたVAEモデルについて検討する。 分子生成や最適化問題を含む複数のデータセット上でのDD-VAEの性能を示す。
  論文  参考訳（メタデータ） (2020-03-04T16:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。