論文の概要: Bridging Relevance and Reasoning: Rationale Distillation in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2412.08519v1
• Date: Wed, 11 Dec 2024 16:32:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:02:50.141852
• Title: Bridging Relevance and Reasoning: Rationale Distillation in Retrieval-Augmented Generation
• Title（参考訳）: 橋梁関係とレアソン化:レトリーバー増産におけるラタネール蒸留
• Authors: Pengyue Jia, Derong Xu, Xiaopeng Li, Zhaocheng Du, Xiangyang Li, Xiangyu Zhao, Yichao Wang, Yuhao Wang, Huifeng Guo, Ruiming Tang,
• Abstract要約: 本稿では,Rationale DistillatiOnを用いた新規かつ実用的な嗜好アライメントフレームワークであるRADIOを提案する。 まず,Large Language Models (LLMs) の推論能力を活用して,問合せに要する有理を抽出する理性抽出手法を提案する。 その後、抽出された有理性に基づいて文書を再引用する合理性に基づくアライメントプロセスが設計され、その選好を調整するために再帰者を微調整する。
• 参考スコア（独自算出の注目度）: 43.50677378728461
• License:
• Abstract: The reranker and generator are two critical components in the Retrieval-Augmented Generation (i.e., RAG) pipeline, responsible for ranking relevant documents and generating responses. However, due to differences in pre-training data and objectives, there is an inevitable gap between the documents ranked as relevant by the reranker and those required by the generator to support answering the query. To address this gap, we propose RADIO, a novel and practical preference alignment framework with RAtionale DIstillatiOn. Specifically, We first propose a rationale extraction method that leverages the reasoning capabilities of Large Language Models (LLMs) to extract the rationales necessary for answering the query. Subsequently, a rationale-based alignment process is designed to rerank the documents based on the extracted rationales, and fine-tune the reranker to align the preferences. We conduct extensive experiments on two tasks across three datasets to demonstrate the effectiveness of our approach compared to baseline methods. Our code is released online to ease reproduction.
• Abstract（参考訳）: リランカとジェネレータはRetrieval-Augmented Generation(RAG)パイプラインの2つの重要なコンポーネントであり、関連するドキュメントのランキングとレスポンスの生成に責任がある。 しかし、事前学習データと目的の相違により、リランカが関連付けする文書と、クエリの応答を支援するために生成元が要求する文書との間には必然的なギャップがある。 このギャップに対処するため, RAtionale DistillatiOn を用いた新規かつ実用的な選好アライメントフレームワーク RADIO を提案する。 具体的には,まず,Large Language Models (LLMs) の推論能力を活用して,問合せに要する論理を抽出する合理抽出法を提案する。 その後、抽出された有理性に基づいて文書を再引用する合理性に基づくアライメントプロセスが設計され、その選好を調整するために再帰者を微調整する。 我々は3つのデータセットにまたがる2つのタスクについて広範な実験を行い、ベースライン手法と比較してアプローチの有効性を実証した。 私たちのコードは、再現を容易にするためにオンラインでリリースされます。

関連論文リスト

• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval [3.9639424852746274]
  本稿では,言語モデルの中間層からの隠れ状態表現を利用して,与えられたクエリに対する追加検索の必要性を適応的に決定するProbing-RAGを提案する。 Probing-RAGはモデルの内部認識を効果的に捉え、外部文書の取得に関する信頼性の高い意思決定を可能にする。
  論文  参考訳（メタデータ） (2024-10-17T08:48:54Z)
• ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation [11.756344944226495]
  本稿では、透明性を高める新しいオープンソースリグレードアプローチであるReason-to-Rank(R2R)を提案する。 R2Rは2つのタイプの推論を生成する: 直接関連推論(direct relevance reasoning) - ドキュメントがクエリにどのように対処するかを説明する。 学生モデルは、有意義な推論と文書の書き直しを訓練し、複数のデータセットにまたがる競争性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T16:25:39Z)
• MaFeRw: Query Rewriting with Multi-Aspect Feedbacks for Retrieval-Augmented Large Language Models [34.39053202801489]
  現実世界のRAGシステムでは、現在のクエリは会話コンテキストからの音声楕円とあいまいな参照を含むことが多い。 本稿では,検索プロセスと生成結果の両方からマルチアスペクトフィードバックを統合することにより,RAG性能を向上させる新しいクエリ書き換え手法MaFeRwを提案する。 2つの対話型RAGデータセットの実験結果から、MaFeRwはベースラインよりも優れた生成指標と安定したトレーニングを達成できることが示された。
  論文  参考訳（メタデータ） (2024-08-30T07:57:30Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation [80.12531449946655]
  本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。 提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-02-05T06:52:53Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Joint Passage Ranking for Diverse Multi-Answer Retrieval [56.43443577137929]
  質問に対する複数の異なる回答をカバーするために、パスの取得を必要とする探索不足の問題であるマルチアンサー検索について検討する。 モデルが別の有効な答えを逃す費用で同じ答えを含む通路を繰り返すべきではないので、このタスクは、検索された通路の共同モデリングを必要とします。 本稿では,再順位に着目したジョイントパス検索モデルであるJPRを紹介する。 回収された通路の合同確率をモデル化するために、JPRは、新しい訓練および復号アルゴリズムを備えた通路のシーケンスを選択する自動回帰リタイナを利用する。
  論文  参考訳（メタデータ） (2021-04-17T04:48:36Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。