論文の概要: Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering

• arxiv url: http://arxiv.org/abs/2508.15213v1
• Date: Thu, 21 Aug 2025 03:53:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.17064
• Title: Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering
• Title（参考訳）: Select to Know: An internal-external Knowledge Self-Selection Framework for Domain-Specific Question Answering
• Authors: Bolei He, Xinran He, Run Shao, Shanfu Shu, Xianwei Xue, Mingquan Cheng, Haifeng Li, Zhenhua Ling,
• Abstract要約: 大規模言語モデル(LLM)は一般的なQAではうまく機能するが、ドメイン固有のシナリオではしばしば苦労する。 Selct2Know(S2K)は,ドメイン知識を内部的・外部的知識自己選択戦略によって内部化する,費用対効果の高いフレームワークである。 医学的、法的、財務的なQAベンチマークの実験は、S2Kが既存の方法より一貫して優れていることを示している。
• 参考スコア（独自算出の注目度）: 23.751106800039516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) perform well in general QA but often struggle in domain-specific scenarios. Retrieval-Augmented Generation (RAG) introduces external knowledge but suffers from hallucinations and latency due to noisy retrievals. Continued pretraining internalizes domain knowledge but is costly and lacks cross-domain flexibility. We attribute this challenge to the long-tail distribution of domain knowledge, which leaves partial yet useful internal knowledge underutilized. We further argue that knowledge acquisition should be progressive, mirroring human learning: first understanding concepts, then applying them to complex reasoning. To address this, we propose Selct2Know (S2K), a cost-effective framework that internalizes domain knowledge through an internal-external knowledge self-selection strategy and selective supervised fine-tuning. We also introduce a structured reasoning data generation pipeline and integrate GRPO to enhance reasoning ability. Experiments on medical, legal, and financial QA benchmarks show that S2K consistently outperforms existing methods and matches domain-pretrained LLMs with significantly lower cost.
• Abstract（参考訳）: 大規模言語モデル(LLM)は一般的なQAではうまく機能するが、ドメイン固有のシナリオではしばしば苦労する。 Retrieval-Augmented Generation (RAG)は、外部知識を導入するが、ノイズ検索による幻覚や遅延に悩まされる。 事前トレーニングはドメイン知識を内部化するが、コストがかかり、ドメイン間の柔軟性に欠ける。 この課題は、部分的かつ有用な内部知識を未利用のまま残したドメイン知識の長期分布に起因している。 知識獲得は進歩的であり、人間の学習を反映するべきだ、と我々はさらに主張する: まず概念を理解し、それらを複雑な推論に適用する。 そこで本研究では,ドメイン知識の内在的自己選択戦略と教師付き微調整により,ドメイン知識を内包する費用効率の高いフレームワークであるSelct2Know(S2K)を提案する。 また、構造化推論データ生成パイプラインを導入し、GRPOを統合して推論能力を向上させる。 医学的、法的、財務的なQAベンチマークの実験では、S2Kは既存の手法を一貫して上回り、ドメインに制限されたLLMと大幅に低いコストで一致している。

関連論文リスト

• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• Systematic Knowledge Injection into Large Language Models via Diverse Augmentation for Domain-Specific RAG [24.660769275714685]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) にドメイン知識を組み込む重要な手法として登場した。 本稿では,学習データを2つの方法で強化することで,微調整プロセスを大幅に強化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T12:39:51Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Towards Better Generalization in Open-Domain Question Answering by Mitigating Context Memorization [67.92796510359595]
  Open-Domain Question Answering (OpenQA)は、外部の大規模知識コーパスで事実質問に答えることを目的としている。 OpenQAモデルが完全に新しい知識ドメインにどの程度うまく移行できるかは、まだ不明である。 コーパス不変チューニング(CIT: Corpus-Invariant Tuning)は,記憶過剰な知識の軽減を目的とした,シンプルで効果的なトレーニング戦略である。
  論文  参考訳（メタデータ） (2024-04-02T05:44:50Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• When Giant Language Brains Just Aren't Enough! Domain Pizzazz with Knowledge Sparkle Dust [15.484175299150904]
  本稿では,大規模言語モデルの実践的ユースケースへの適応におけるギャップを埋めることを目的とした経験的分析を提案する。 本研究は, 推論の課題によるケーススタディとして, 保険の質問応答(QA)タスクを選択する。 本課題に基づいて,保険政策ルールブックやDBPediaから抽出した付加的な知識により,LLMに依存した新たなモデルを設計する。
  論文  参考訳（メタデータ） (2023-05-12T03:49:59Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。