論文の概要: Retrieval-augmented reasoning with lean language models

• arxiv url: http://arxiv.org/abs/2508.11386v1
• Date: Fri, 15 Aug 2025 10:38:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.855708
• Title: Retrieval-augmented reasoning with lean language models
• Title（参考訳）: リーン言語モデルを用いた検索強化推論
• Authors: Ryan Sze-Yin Chan, Federico Nanni, Tomas Lazauskas, Rosie Wood, Penelope Yong, Lionel Tarassenko, Mark Girolami, James Geddes, Andrew Duncan,
• Abstract要約: 複雑なドメイン固有のクエリを解釈できる検索拡張会話エージェントを開発した。 本システムでは,細調整されたQwen2.5-Instructモデルと高密度レトリバーを統合した。 すべての実装の詳細とコードは、ドメイン間のサポートと適応のために公開されています。
• 参考スコア（独自算出の注目度）: 5.615564811138556
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This technical report details a novel approach to combining reasoning and retrieval augmented generation (RAG) within a single, lean language model architecture. While existing RAG systems typically rely on large-scale models and external APIs, our work addresses the increasing demand for performant and privacy-preserving solutions deployable in resource-constrained or secure environments. Building on recent developments in test-time scaling and small-scale reasoning models, we develop a retrieval augmented conversational agent capable of interpreting complex, domain-specific queries using a lightweight backbone model. Our system integrates a dense retriever with fine-tuned Qwen2.5-Instruct models, using synthetic query generation and reasoning traces derived from frontier models (e.g., DeepSeek-R1) over a curated corpus, in this case, the NHS A-to-Z condition pages. We explore the impact of summarisation-based document compression, synthetic data design, and reasoning-aware fine-tuning on model performance. Evaluation against both non-reasoning and general-purpose lean models demonstrates that our domain-specific fine-tuning approach yields substantial gains in answer accuracy and consistency, approaching frontier-level performance while remaining feasible for local deployment. All implementation details and code are publicly released to support reproducibility and adaptation across domains.
• Abstract（参考訳）: この技術的レポートでは、単一のリーン言語モデルアーキテクチャ内で推論と検索の強化(RAG)を結合する新しいアプローチについて詳述する。 既存のRAGシステムは通常、大規模なモデルと外部APIに依存していますが、当社の作業は、リソース制約やセキュアな環境にデプロイ可能なパフォーマンスとプライバシ保護ソリューションの需要の増加に対応しています。 テスト時間スケーリングと小規模推論モデルの最近の発展を基盤として,軽量なバックボーンモデルを用いて複雑なドメイン固有クエリを解釈できる検索型対話エージェントを開発した。 本システムでは,厳密な検索と微調整されたQwen2.5-Instructモデルを統合し,コーパス上でのフロンティアモデル(例えばDeepSeek-R1)から得られた検索と推論トレースを用いて,NHS A-to-Z条件ページを解析する。 要約に基づく文書圧縮, 合成データ設計, 推論を考慮した微調整がモデル性能に与える影響について検討する。 非推論と汎用のリーンモデルの両方に対する評価は、我々のドメイン固有の微調整アプローチが答えの正確さと一貫性を大幅に向上させ、局所的なデプロイメントで実現可能なフロンティアレベルのパフォーマンスに近づいたことを示しています。 すべての実装の詳細とコードは公開され、ドメイン間の再現性と適応をサポートする。

関連論文リスト

• SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
  本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。 既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。 我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-08-03T23:59:31Z)
• Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
  より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。 当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。 当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
  論文  参考訳（メタデータ） (2025-03-31T07:31:32Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
  大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。 本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。 データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-06-17T04:35:17Z)
• Dynamic Retrieval-Augmented Generation [4.741884506444161]
  動的検索・拡張生成(DRAG)のための新しい手法を提案する。 DRAGは、取得したエンティティの圧縮埋め込みを生成モデルに注入する。 提案手法は,(1)コンテキストウィンドウの長さ制限を解除し,迅速なサイズを節約すること,(2)コンテキストに利用可能な検索エンティティの数を膨大に拡張すること,(3)ミススペルや関連エンティティ名検索の失敗を緩和すること,の3つの目標を達成する。
  論文  参考訳（メタデータ） (2023-12-14T14:26:57Z)
• Unsupervised Domain Adaption for Neural Information Retrieval [18.97486314518283]
  本稿では,Large Language Models やルールベースの文字列操作を用いたクエリ生成による合成アノテーションの比較を行う。 大規模言語モデルは,すべてのシナリオにおいて,ルールベースの手法よりも大きなマージンで優れていることがわかった。 さらに、オープンな大規模言語モデルを用いて、合成データを生成し、中規模モデルで十分であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T18:27:33Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval Augmented Generation Models for Open Book Question-Answering [0.0]
  そこで本稿では,テキスト文書のプロプライエタリなコレクション上で,オープンブック質問応答のための生成的質問応答モデルを効率的に開発する枠組みを提案する。 このフレームワークは、教師付き微調整および強化学習を用いて、レトリバー拡張生成(RAG)モデルを対象領域に適応させる。
  論文  参考訳（メタデータ） (2023-07-12T04:44:31Z)
• Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
  Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。 既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。 各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-05-23T18:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。