論文の概要: ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2410.05168v1
- Date: Mon, 07 Oct 2024 16:25:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:38:40.333473
- Title: ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation
- Title(参考訳): ReasoningRank: Reasoning-based Knowledge Distillation による学生のランク付け指導
- Authors: Yuelyu Ji, Zhuochun Li, Rui Meng, Daqing He,
- Abstract要約: ReasoningRankは2種類の推論を生成することによって明確性を高める新しいアプローチである。
我々は、大きな言語モデル(LLM)を教師モデルとして活用し、これらの説明を生成し、これらの知識をより小さく、よりリソース効率の良い学生モデルに抽出する。
実験によると、ReasoningRankは精度を向上し、意思決定プロセスに関する貴重な洞察を提供する。
- 参考スコア(独自算出の注目度): 11.756344944226495
- License:
- Abstract: Reranking documents based on their relevance to a given query is critical in information retrieval. Traditional reranking methods often focus on improving the initial rankings but lack transparency, failing to explain why one document is ranked higher. In this paper, we introduce ReasoningRank, a novel reranking approach that enhances clarity by generating two types of reasoning: explicit reasoning, which explains how a document addresses the query, and comparison reasoning, which justifies the relevance of one document over another. We leverage large language models (LLMs) as teacher models to generate these explanations and distill this knowledge into smaller, more resource-efficient student models. While the student models may not outperform LLMs in speed, they significantly reduce the computational burden by requiring fewer resources, making them more suitable for large-scale or resource-constrained settings. These student models are trained to both generate meaningful reasoning and rerank documents, achieving competitive performance across multiple datasets, including MSMARCO and BRIGHT. Experiments demonstrate that ReasoningRank improves reranking accuracy and provides valuable insights into the decision-making process, offering a structured and interpretable solution for reranking tasks.
- Abstract(参考訳): 情報検索において、所定のクエリとの関連性に基づくドキュメントのランク付けが重要となる。
従来のランク付け手法は、最初のランク付けを改善することに重点を置いていることが多いが、透明性が欠如している。
本稿では,文書が問合せにどう対処するかを記述した明示的推論と,他の文書との関連性を正当化する比較推論という,2つのタイプの推論を生成することによって,明確性を高める新しい評価手法であるReasoningRankを紹介する。
我々は、大きな言語モデル(LLM)を教師モデルとして活用し、これらの説明を生成し、これらの知識をより小さく、よりリソース効率の良い学生モデルに抽出する。
学生モデルはLSMを高速で上回るものではないが、リソースを少なくすることで計算負担を大幅に減らし、大規模または資源制約のある設定に適している。
これらの学生モデルは、有意義な推論と再帰的なドキュメントを生成するように訓練されており、MSMARCOやBRIGHTなど、複数のデータセットで競合するパフォーマンスを達成する。
実験では、ReasoningRankがリランク精度を改善し、意思決定プロセスに関する貴重な洞察を提供し、リランクタスクのための構造化され解釈可能なソリューションを提供する。
関連論文リスト
- Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。
関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。
近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
論文 参考訳(メタデータ) (2024-06-25T22:50:48Z) - MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。
推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。
Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文 参考訳(メタデータ) (2024-05-25T15:07:33Z) - R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models [32.598670876662375]
Retrieval-augmented large language model (LLMs) は、情報検索システムによって取得された関連コンテンツを利用して正しい応答を生成する。
既存のレトリバー・サプライヤ・メソッドは、テキスト生成タスクを実行するために LLM のプロンプトに関連文書を追加するのが一般的である。
検索拡張LDMのための文書順序付けを学習するための新しいパイプライン"Reinforced Retriever-Reorder-Responder"を提案する。
論文 参考訳(メタデータ) (2024-05-04T12:59:10Z) - Coarse-Tuning for Ad-hoc Document Retrieval Using Pre-trained Language Models [1.7126893619099555]
情報検索システムの微調整には、クエリ表現とクエリドキュメントの関係の学習が必要である。
本研究では,事前学習と微調整を橋渡しする中間学習段階として粗調整を導入する。
粗いチューニングのためのクエリ文書ペア予測(QDPP)を提案し,クエリ文書ペアの適切性を予測する。
論文 参考訳(メタデータ) (2024-03-25T16:32:50Z) - List-aware Reranking-Truncation Joint Model for Search and
Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。
GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。
提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文 参考訳(メタデータ) (2024-02-05T06:52:53Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95~97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳(メタデータ) (2023-01-27T22:04:37Z) - CAPSTONE: Curriculum Sampling for Dense Retrieval with Document
Expansion [68.19934563919192]
本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。
ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
論文 参考訳(メタデータ) (2022-12-18T15:57:46Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳(メタデータ) (2022-10-19T16:19:37Z) - Valid Explanations for Learning to Rank Models [5.320400771224103]
本稿では,入力特徴の少数のサブセットをランキング決定の理由として同定するモデルに依存しない局所的説明法を提案する。
我々は,選択された特徴の有無に基づいて,ランク付けに特化して説明の妥当性と完全性という新たな概念を導入する。
論文 参考訳(メタデータ) (2020-04-29T06:21:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。