論文の概要: Enhancing Transformer-Based Rerankers with Synthetic Data and LLM-Based Supervision

• arxiv url: http://arxiv.org/abs/2510.01229v1
• Date: Tue, 23 Sep 2025 09:47:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.729753
• Title: Enhancing Transformer-Based Rerankers with Synthetic Data and LLM-Based Supervision
• Title（参考訳）: 合成データとLLMに基づくスーパービジョンを用いたトランスフォーマーベースリランカの強化
• Authors: Dimitar Peshevski, Kiril Blazhevski, Martin Popovski, Gjorgji Madjarov,
• Abstract要約: 大きな言語モデル(LLM)は、その深いセマンティック理解と推論のために、再分類時に優れている。 微調整の小さなタスク固有のモデルは、より効率的な代替手段だが、通常は手動でラベル付けされたデータに頼っている。 本稿では,人間ラベルのクエリドキュメントペアの必要性を解消する新しいパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 0.13999481573773073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective document reranking is essential for improving search relevance across diverse applications. While Large Language Models (LLMs) excel at reranking due to their deep semantic understanding and reasoning, their high computational cost makes them impractical for many real-world deployments. Fine-tuning smaller, task-specific models is a more efficient alternative but typically depends on scarce, manually labeled data. To overcome this, we propose a novel pipeline that eliminates the need for human-labeled query-document pairs. Our method uses LLMs to generate synthetic queries from domain-specific corpora and employs an LLM-based classifier to label positive and hard-negative pairs. This synthetic dataset is then used to fine-tune a smaller transformer model with contrastive learning using Localized Contrastive Estimation (LCE) loss. Experiments on the MedQuAD dataset show that our approach significantly boosts in-domain performance and generalizes well to out-of-domain tasks. By using LLMs for data generation and supervision rather than inference, we reduce computational costs while maintaining strong reranking capabilities.
• Abstract（参考訳）: 多様なアプリケーションにおける検索関連性を改善するためには,効果的なドキュメントの更新が不可欠である。 LLM(Large Language Models)は、セマンティック理解と推論の深みから、再評価に優れていますが、計算コストが高いため、現実の多くのデプロイメントでは実用的ではありません。 微調整の小さなタスク固有のモデルは、より効率的な代替手段であるが、通常は手動でラベル付けされた少ないデータに依存している。 これを解決するために,人間ラベルのクエリ-ドキュメントペアの必要性を解消する新しいパイプラインを提案する。 提案手法では,LLMを用いてドメイン固有コーパスから合成クエリを生成し,LLMベースの分類器を用いて正と強のペアをラベル付けする。 この合成データセットは、LCE(Localized Contrastive Estimation)損失を用いて、対照的な学習を伴うより小さなトランスフォーマーモデルを微調整するために使用される。 MedQuADデータセットの実験は、我々のアプローチがドメイン内のパフォーマンスを大幅に向上し、ドメイン外のタスクによく適応することを示している。 LLMを推論ではなくデータ生成と監視に利用することにより、高い再ランク能力を維持しながら計算コストを削減できる。

関連論文リスト

• GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
  本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。 提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
  論文  参考訳（メタデータ） (2025-08-11T06:22:25Z)
• Efficiency-Effectiveness Reranking FLOPs for LLM-based Rerankers [15.549112491482818]
  大規模言語モデル(LLM)は,情報検索におけるタスクの再分類に応用され,高い性能を実現している。 既存の研究では、遅延、フォワードパス数、入力トークン、出力トークンなどのプロキシメトリクスを使用して、LCMベースのリランカの効率を評価する。 本稿では,LLM ベースの再ランカを対象とした Etextsuperscript2R-FLOP を提案する。
  論文  参考訳（メタデータ） (2025-07-08T17:56:28Z)
• LLMs as Data Annotators: How Close Are We to Human Performance [47.61698665650761]
  データのマニュアルアノテーションは、労働集約的で、時間がかかり、コストがかかる。 In-context Learning (ICL) では、タスクに関連するいくつかの例がプロンプトで与えられると、非効率性や準最適モデルの性能につながる可能性がある。 本稿では,NERタスクの様々なデータセットに対して,異なる埋め込みモデルを考慮した複数のLLMの比較実験を行う。
  論文  参考訳（メタデータ） (2025-04-21T11:11:07Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Efficacy of Synthetic Data as a Benchmark [3.2968976262860408]
  大規模言語モデル(LLM)による合成データ生成の有効性について検討する。 実験の結果, 単純なタスクに対して, 合成データは様々な手法の性能を効果的に捉えることができるが, 名前付きエンティティ認識のような複雑なタスクでは不十分であることがわかった。 我々は、ベンチマークデータの生成とタスクの実行の両方に同じLLMを使用した場合のバイアスを評価するバイアス係数と呼ばれる新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-09-18T13:20:23Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• UDAPDR: Unsupervised Domain Adaptation via LLM Prompting and Distillation of Rerankers [42.84866455416052]
  我々は,大規模言語モデル(LLM)を用いて大量の合成クエリを安価に生成する手法を開発し,動機づける。 この手法により、長テール領域におけるゼロショット精度が向上し、標準のリグレード法よりもかなり低レイテンシを実現することを示す。
  論文  参考訳（メタデータ） (2023-03-01T20:21:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。