論文の概要: Context Filtering with Reward Modeling in Question Answering

• arxiv url: http://arxiv.org/abs/2412.11707v1
• Date: Mon, 16 Dec 2024 12:29:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:33.548271
• Title: Context Filtering with Reward Modeling in Question Answering
• Title（参考訳）: 質問応答における逆モデリングを用いた文脈フィルタリング
• Authors: Sangryul Kim, James Thorne,
• Abstract要約: Reward Modelingを通して重要コンテンツを要約し、非重要詳細を除去するコンテキストフィルタリング手法を導入する。 EMパートークン(EPT)の6.8倍の増大により,本手法がベースラインを大幅に上回ることを示す。
• 参考スコア（独自算出の注目度）: 7.668954669688971
• License:
• Abstract: Question Answering (QA) in NLP is the task of finding answers to a query within a relevant context retrieved by a retrieval system. Yet, the mix of relevant and irrelevant information in these contexts can hinder performance enhancements in QA tasks. To address this, we introduce a context filtering approach that removes non-essential details, summarizing crucial content through Reward Modeling. This method emphasizes keeping vital data while omitting the extraneous during summarization model training. We offer a framework for developing efficient QA models by discerning useful information from dataset pairs, bypassing the need for costly human evaluation. Furthermore, we show that our approach can significantly outperform the baseline, as evidenced by a 6.8-fold increase in the EM Per Token (EPT) metric, which we propose as a measure of token efficiency, indicating a notable token-efficiency boost for low-resource settings.
• Abstract（参考訳）: NLPにおける質問回答(QA: Question Answering)は、検索システムによって検索された関連するコンテキスト内で、質問に対する回答を見つけるタスクである。 しかし、これらのコンテキストにおける関連する情報と無関係な情報の混在は、QAタスクのパフォーマンス向上を妨げる可能性がある。 これを解決するために、Reward Modelingを通して重要コンテンツを要約し、重要でない詳細を除去するコンテキストフィルタリング手法を導入する。 本手法は, 要約モデルトレーニングにおいて, 余剰を省略しつつ, 重要なデータを維持することを強調する。 我々は、データセットペアから有用な情報を識別し、コストのかかる人的評価の必要性を回避し、効率的なQAモデルを開発するためのフレームワークを提供する。 さらに,トークン効率の指標として提案するEMパートークン(EPT)の6.8倍の増大により,低リソース環境におけるトークン効率の顕著な向上を示すとともに,本手法がベースラインを著しく上回ることを示す。

関連論文リスト

• Context Awareness Gate For Retrieval Augmented Generation [2.749898166276854]
  Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界を軽減し、ドメイン固有の質問に答える手段として広く採用されている。 これまでの研究は主に、取得したデータチャンクの精度と品質を改善し、生成パイプライン全体のパフォーマンスを向上させることに重点を置いてきた。 オープンドメイン質問応答における無関係情報検索の効果について検討し,LLM出力の品質に対する顕著な有害な影響を明らかにする。
  論文  参考訳（メタデータ） (2024-11-25T06:48:38Z)
• Enhancing Question Answering Precision with Optimized Vector Retrieval and Instructions [1.2425910171551517]
  質問応答 (QA) は情報検索 (IR) と言語モデルの重要な応用である。 本稿では、最適化されたベクトル検索と命令手法を統合することにより、QAタスク性能を改善するための革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T21:14:04Z)
• Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
  生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。 テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-14T18:41:54Z)
• Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
  ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。 近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
  論文  参考訳（メタデータ） (2023-10-02T18:52:35Z)
• Fine-tuning and aligning question answering models for complex information extraction tasks [0.8392546351624164]
  質問応答(QA)や通過検索モデルのような抽出言語モデルは、クエリ結果が適切なコンテキスト文書の境界内で見つかることを保証します。 既存のドイツ語のQAモデルを微調整することで,複雑な言語的特徴の抽出タスクをカスタマイズする性能が向上することを示す。 評価基準を再現するために,Levenshtein 距離,F1-Score,Exact Match,ROUGE-L の組合せを推定した。
  論文  参考訳（メタデータ） (2023-09-26T10:02:21Z)
• QontSum: On Contrasting Salient Content for Query-focused Summarization [22.738731393540633]
  クエリ中心の要約(QFS)は、特定のクエリに対処する要約を生成する自然言語処理において難しいタスクである。 本稿では,GARにおけるQFSの役割について述べる。 コントラスト学習を利用したQFSの新しい手法であるQontSumを提案する。
  論文  参考訳（メタデータ） (2023-07-14T19:25:35Z)
• Tokenization Consistency Matters for Generative Models on Extractive NLP Tasks [54.306234256074255]
  生成モデルの訓練において一般的に無視されるトークン化の不整合の問題を特定する。 この問題は、入力と出力が無矛盾にトークン化されると、これらのタスクの抽出特性を損なう。 一貫性のあるトークン化では、ドメイン内のデータセットとドメイン外のデータセットの両方で、モデルのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-12-19T23:33:21Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Improve Query Focused Abstractive Summarization by Incorporating Answer Relevance [43.820971952979875]
  本稿では,QFS-BARTモデルを提案する。QFS-BARTは,質問応答モデルによって与えられたソース文書の明示的な回答関連性を組み込んだモデルである。 我々のモデルは, 要約性能を大幅に向上させる, 事前学習された大規模モデルを利用することができる。 Debatepediaデータセットの実証結果は、提案したモデルが新しい最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-05-27T06:58:42Z)
• Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
  質問回答(QA)を用いて要約内容の質を評価する指標を提案する。 提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
  論文  参考訳（メタデータ） (2020-10-01T15:33:09Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。