論文の概要: Preference-based Learning with Retrieval Augmented Generation for Conversational Question Answering

• arxiv url: http://arxiv.org/abs/2503.22303v1
• Date: Fri, 28 Mar 2025 10:26:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:31:57.549216
• Title: Preference-based Learning with Retrieval Augmented Generation for Conversational Question Answering
• Title（参考訳）: 対話型質問応答のための検索補助生成を用いた嗜好型学習
• Authors: Magdalena Kaiser, Gerhard Weikum,
• Abstract要約: PRAISEは、ConvQAのパイプラインベースのアプローチで、3つのサブタスクごとにアダプタをトレーニングする。 PRAISEはサブタスク毎の改善を示し、人気の高いConvQAベンチマークで新しい最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 20.969921246457414
• License:
• Abstract: Conversational Question Answering (ConvQA) involves multiple subtasks, i) to understand incomplete questions in their context, ii) to retrieve relevant information, and iii) to generate answers. This work presents PRAISE, a pipeline-based approach for ConvQA that trains LLM adapters for each of the three subtasks. As labeled training data for individual subtasks is unavailable in practice, PRAISE learns from its own generations using the final answering performance as feedback signal without human intervention and treats intermediate information, like relevant evidence, as weakly labeled data. We apply Direct Preference Optimization by contrasting successful and unsuccessful samples for each subtask. In our experiments, we show the effectiveness of this training paradigm: PRAISE shows improvements per subtask and achieves new state-of-the-art performance on a popular ConvQA benchmark, by gaining 15.5 percentage points increase in precision over baselines.
• Abstract（参考訳）: 会話質問回答(ConvQA)には複数のサブタスクが含まれる。 一 不完全な質問を文脈で理解すること 二 関連情報を取得すること、及び 三 回答を生成すること。 この研究は、パイプラインベースのConvQAアプローチであるPRAISEを提示し、3つのサブタスクそれぞれに対してLLMアダプタをトレーニングする。 個々のサブタスクに対するラベル付きトレーニングデータは実際には利用できないため、PRAISEは人間の介入なしに最終回答性能をフィードバック信号として利用し、関連する証拠のような中間情報を弱いラベル付きデータとして扱う。 提案手法は,各サブタスクに対して成功したサンプルと失敗したサンプルとを対比して適用する。 PRAISEはサブタスク毎の改善を示し、ベースラインよりも15.5ポイントの精度向上を図り、人気の高いConvQAベンチマークで新しい最先端性能を実現する。

関連論文リスト

• Aligning Instruction Tuning with Pre-training [81.4748965653345]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• Learning To Retrieve Prompts for In-Context Learning [33.176481861880724]
  本稿では,注釈付きデータとLMを用いたテキスト内学習のためのプロンプトを効率よく検索する手法を提案する。 言語発話を意味表現にマッピングする3つのシーケンス・ツー・シーケンスタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-16T05:17:56Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Learning to Rank Question Answer Pairs with Bilateral Contrastive Data Augmentation [39.22166065525888]
  本稿では,バイラテラル生成(Bilateral Generation, BiG)という,新鮮で使いやすいデータ拡張戦略を提案する。 拡張データセットを用いて、質問応答ペアのランク付けを学習するための対照的な訓練目標を設計する。 TREC-QA,WikiQA,AntiQUEの3つのベンチマークデータセットによる実験結果から,本手法はランキングモデルの性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2021-06-21T13:29:43Z)
• Learning Compositional Representation for Few-shot Visual Question Answering [93.4061107793983]
  現在の視覚的質問応答の方法は、トレーニングデータ量で回答を良好に実行するが、例が少ない新規回答では精度が限られている。 回答から属性を十分なデータで抽出することを提案するが、これは後に数ショットの学習を制限するために構成される。 VQA v2.0検証データセットの実験結果から,提案した属性ネットワークの有効性が示された。
  論文  参考訳（メタデータ） (2021-02-21T10:16:24Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。