論文の概要: ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2410.05168v3
• Date: Sat, 30 Nov 2024 16:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:55:14.930370
• Title: ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation
• Title（参考訳）: ReasoningRank: Reasoning-based Knowledge Distillation による学生のランク付け指導
• Authors: Yuelyu Ji, Zhuochun Li, Rui Meng, Daqing He,
• Abstract要約: 本稿では、透明性を高める新しいオープンソースリグレードアプローチであるReason-to-Rank(R2R)を提案する。 R2Rは2つのタイプの推論を生成する: 直接関連推論(direct relevance reasoning) - ドキュメントがクエリにどのように対処するかを説明する。 学生モデルは、有意義な推論と文書の書き直しを訓練し、複数のデータセットにまたがる競争性能を達成する。
• 参考スコア（独自算出の注目度）: 11.756344944226495
• License:
• Abstract: Reranking documents based on their relevance to a given query is a critical task in information retrieval. Traditional reranking methods often lack transparency and rely on proprietary models, hindering reproducibility and interpretability. We propose Reason-to-Rank (R2R), a novel open-source reranking approach that enhances transparency by generating two types of reasoning: direct relevance reasoning, which explains how a document addresses the query, and comparison reasoning, which justifies the relevance of one document over another. We leverage large language models (LLMs) as teacher models to generate these explanations and distill this knowledge into smaller, openly available student models. Our student models are trained to generate meaningful reasoning and rerank documents, achieving competitive performance across multiple datasets, including MSMARCO and BRIGHT. Experiments demonstrate that R2R not only improves reranking accuracy but also provides valuable insights into the decision-making process. By offering a structured and interpretable solution with openly accessible resources, R2R aims to bridge the gap between effectiveness and transparency in information retrieval, fostering reproducibility and further research in the field.
• Abstract（参考訳）: クエリに対する関連性に基づくドキュメントのランク付けは,情報検索において重要な課題である。 従来のリグレード手法は透明性を欠くことが多く、プロプライエタリなモデルに依存しており、再現性と解釈可能性を妨げる。 提案するReason-to-Rank(R2R)は,ドキュメントがクエリにどのように対処するかを説明する直接関連推論と,あるドキュメントの相互関連性を正当化する比較推論という,2つのタイプの推論を生成することによって透明性を高める,新たなオープンソースリグレードアプローチである。 我々は、大きな言語モデル(LLM)を教師モデルとして活用し、これらの説明を生成し、これらの知識をより小さく、よりオープンな学生モデルに抽出する。 MSMARCOやBRIGHTなど,複数のデータセットにまたがる競合性能を実現するために,学生モデルは,有意義な推論と再帰的なドキュメントを生成するように訓練されている。 実験によると、R2Rは精度を向上するだけでなく、意思決定プロセスに関する貴重な洞察を提供する。 R2Rは, 情報検索における有効性と透明性のギャップを埋めること, 再現性を育成し, さらなる研究を行うことを目的としている。

関連論文リスト

• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• A Counterfactual Explanation Framework for Retrieval Models [4.562474301450839]
  最適化フレームワークを用いて、特定のクエリに対して検索モデルに好まれない単語がどのような役割を果たすかという問題を解く。 本実験は,統計モデル(BM25など)とディープラーニングモデルの両方に対して,提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-09-01T22:33:29Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Why So Gullible? Enhancing the Robustness of Retrieval-Augmented Models against Counterfactual Noise [14.38859858538404]
  検索された文書セットでは、「関連」文書でさえ誤った情報や誤った情報を含むことがある。 我々の研究は、"関連"文書でさえ誤った情報や誤った情報を含む、より困難なシナリオを調査します。 本稿では,識別器を明示的に微調整したり,GPT-3.5に識別能力の付与を促すことによって,検索した文書間の知識衝突を処理する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-02T16:28:10Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。