論文の概要: Context Quality Matters in Training Fusion-in-Decoder for Extractive Open-Domain Question Answering
- arxiv url: http://arxiv.org/abs/2403.14197v1
- Date: Thu, 21 Mar 2024 07:47:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 15:07:37.467386
- Title: Context Quality Matters in Training Fusion-in-Decoder for Extractive Open-Domain Question Answering
- Title（参考訳）: 抽出的オープンドメイン質問応答のためのフュージョン・イン・デコーダの訓練における文脈品質
- Authors: Kosuke Akimoto, Kunihiro Takeoka, Masafumi Oyamada,
- Abstract要約: Retrieval-augmented Generation Modelは、生成中に関連する外部知識(コンテキスト)を提供することで、言語モデルにエンコードされた知識を増大させる。
本稿では,モデル学習における文脈量と品質が,最新検索拡張生成モデルであるFusion-in-Decoder(FiD)の性能に与える影響について検討する。
- 参考スコア（独自算出の注目度）: 5.259846811078731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation models augment knowledge encoded in a language model by providing additional relevant external knowledge (context) during generation. Although it has been shown that the quantity and quality of context impact the performance of retrieval-augmented generation models during inference, limited research explores how these characteristics affect model training. This paper explores how context quantity and quality during model training affect the performance of Fusion-in-Decoder (FiD), the state-of-the-art retrieval-augmented generation model, in extractive open-domain question answering tasks. Experimental results suggest that FiD models overfit to context quality during training and show suboptimal performance when evaluated on different context quality. Through the experimental results, we also reveal FiD models trained with different context quality have different cross-attention distribution patterns. Specifically, as context quality during training increases, FiD models tend to attend more uniformly to each passage in context. Finally, based on these observations, we propose a method to mitigate overfitting to specific context quality by introducing bias to the cross-attention distribution, which we demonstrate to be effective in improving the performance of FiD models on different context quality.
- Abstract（参考訳）: Retrieval-augmented Generation Modelは、生成中に関連する外部知識(コンテキスト)を提供することで、言語モデルにエンコードされた知識を増大させる。
コンテクストの量と質が推論中の検索強化生成モデルの性能に影響を与えることが示されているが、これらの特性がモデルトレーニングにどのように影響するかは限定的な研究によって調査されている。
本稿では,モデル学習中の文脈量と品質が,抽出オープンドメイン質問応答タスクにおける最新検索強化生成モデルであるFusion-in-Decoder(FiD)の性能に与える影響について検討する。
実験結果から,FiDモデルはトレーニング中の文脈品質に過度に適合し,異なる文脈品質で評価した場合,最適以下の性能を示すことが示唆された。
また、実験結果から、異なる文脈品質で訓練されたFiDモデルには、異なる意図的分布パターンがあることを明らかにした。
具体的には、トレーニング中のコンテキスト品質が向上するにつれて、FiDモデルはコンテキストの各パスに一様に対応する傾向にある。
最後に、これらの観測に基づいて、異なる文脈品質におけるFiDモデルの性能向上に有効であることを示すために、相互注意分布にバイアスを導入することによって、特定の文脈品質への過度適合を緩和する手法を提案する。
関連論文リスト
- Analyzing Persuasive Strategies in Meme Texts: A Fusion of Language Models with Paraphrase Enrichment [0.23020018305241333]
本稿では,ミームテキストにおける説得手法の階層的マルチラベル検出へのアプローチについて述べる。
本研究の範囲は、革新的なトレーニング技術とデータ強化戦略を通じて、モデルパフォーマンスの向上を含む。
論文 参考訳（メタデータ） (2024-07-01T20:25:20Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T11:45:32Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - A Cross-Attention Augmented Model for Event-Triggered Context-Aware
Story Generation [28.046803293933213]
生成したストーリーの関連性とコヒーレンスを高める新しいニューラルジェネレーションモデルであるEtriCAを導入する。
我々は、大規模書籍コーパスに知識向上のためのポストトレーニングフレームワーク(KeEtriCA)を採用。
その結果、自動測定では約5%が改善され、人間の評価では10%以上が改善された。
論文 参考訳（メタデータ） (2023-11-19T08:54:47Z) - CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。
本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。
本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文 参考訳（メタデータ） (2022-06-29T15:22:01Z) - FUNQUE: Fusion of Unified Quality Evaluators [42.41484412777326]
核融合による品質評価は、高性能な品質モデルを開発するための強力な方法として登場した。
統一品質評価器を融合した品質モデルであるFUNQUEを提案する。
論文 参考訳（メタデータ） (2022-02-23T00:21:43Z) - Learning Transformer Features for Image Quality Assessment [53.51379676690971]
本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。
提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
論文 参考訳（メタデータ） (2021-12-01T13:23:00Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳（メタデータ） (2021-08-29T06:58:28Z) - Training Speech Recognition Models with Federated Learning: A
Quality/Cost Framework [4.125187280299247]
本稿では,分散型オンデバイス学習パラダイムであるフェデレーション学習を用いて音声認識モデルの訓練を行う。
ユーザ毎のトレーニングのエポックスを実行することで、フェデレートされた学習は、非IIDデータ分散を扱うコストを発生させる必要がある。
論文 参考訳（メタデータ） (2020-10-29T22:01:37Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。