Fugu-MT 論文翻訳(概要): KSOD: Knowledge Supplement for LLMs On Demand

論文の概要: KSOD: Knowledge Supplement for LLMs On Demand

arxiv url: http://arxiv.org/abs/2503.07550v1
Date: Mon, 10 Mar 2025 17:17:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 18:54:30.808074
Title: KSOD: Knowledge Supplement for LLMs On Demand
Title（参考訳）: KSOD:LLMの知識をオンデマンドで提供
Authors: Haoran Li, Junfeng Hu,
Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにおいて顕著な機能を示すが、ドメイン固有のタスクではエラーを発生させる。 KSODは,知識に基づく微調整によるLLMの能力向上を支援する新しいフレームワークである。知識ベースSFTによるLCMの能力向上の可能性について検討した。
参考スコア（独自算出の注目度）: 4.4997032928974985
License:
Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in various tasks, yet still produce errors in domain-specific tasks. To further improve their performance, we propose KSOD (Knowledge Supplement for LLMs On Demand), a novel framework that empowers LLMs to improve their capabilities with knowledge-based supervised fine-tuning (SFT). KSOD analyzes the causes of errors from the perspective of knowledge deficiency by identifying potential missing knowledge in LLM that may lead to the errors. Subsequently, KSOD tunes a knowledge module on knowledge dataset and verifies whether the LLM lacks the identified knowledge based on it. If the knowledge is verified, KSOD supplements the LLM with the identified knowledge using the knowledge module. Tuning LLMs on specific knowledge instead of specific task decouples task and knowledge and our experiments on two domain-specific benchmarks and four general benchmarks empirically demonstrate that KSOD enhances the performance of LLMs on tasks requiring the supplemented knowledge while preserving their performance on other tasks. Our findings shed light on the potential of improving the capabilities of LLMs with knowledge-based SFT.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにおいて顕著な機能を示すが、ドメイン固有のタスクではエラーを発生させる。 KSOD(Knowledge Supplement for LLMs On Demand)は,知識に基づく教師あり微調整(SFT)による能力向上を支援する新しいフレームワークである。 KSODは、誤りにつながる可能性のあるLLMの潜在的な欠落した知識を特定することによって、知識不足の観点からエラーの原因を分析する。その後、KSODは知識データセットに基づいて知識モジュールをチューニングし、LLMが識別された知識を欠いているかどうかを検証する。知識が検証された場合、KSOD は知識モジュールを用いて LLM に識別された知識を補足する。特定のタスクと知識を分離する代わりに特定の知識をチューニングし、2つのドメイン固有のベンチマークと4つの一般的なベンチマークで実験した結果、KSODは他のタスクでの性能を維持しながら補足された知識を必要とするタスクにおいてLLMの性能を向上させることが実証された。知識ベースSFTによるLCMの能力向上の可能性について検討した。

関連論文リスト

IAO Prompting: Making Knowledge Flow Explicit in LLMs through Structured Reasoning Templates [7.839338724237275]
IAO(Input-Action-Output)は,大規模言語モデルがどのようにアクセスし,その知識を適用するかを明確にモデル化するテンプレートベースの構造的手法である。 IAOは問題を逐次的なステップに分解し、それぞれが使用する入力知識、実行中のアクション、および結果の出力を明確に識別する。本研究は, LLMにおける知識表現と, より信頼性の高い知識応用のための手法に関する知見を提供する。
論文参考訳（メタデータ） (2025-02-05T11:14:20Z)
KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
論文参考訳（メタデータ） (2024-12-06T11:08:24Z)
KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
論文参考訳（メタデータ） (2024-02-17T02:54:32Z)
Don't Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM Collaboration [39.603649838876294]
本研究では,LLMの知識ギャップを同定し,知識ギャップが存在する場合の質問への回答を控えるアプローチについて検討する。保留集合上での自己回帰と過度信頼の失敗により、我々は2つの新しいアプローチを提案する。
論文参考訳（メタデータ） (2024-02-01T06:11:49Z)
A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文参考訳（メタデータ） (2024-01-02T16:54:58Z)
KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph [11.808990571175269]
大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
論文参考訳（メタデータ） (2023-12-26T04:22:56Z)
KGQuiz: Evaluating the Generalization of Encoded Knowledge in Large Language Models [39.554274096542244]
KGQuizは、大規模言語モデルの知識一般化能力を調べるための知識集約型ベンチマークである。我々は,KGQuizベンチマークを用いて,5つの知識集約タスクと知識領域の10個のオープンソースおよびブラックボックスLCMを評価した。我々は、KGQuizをテストベッドとして想定し、ドメインやタスクフォーマット間のパフォーマンスの微妙な変化を分析する。
論文参考訳（メタデータ） (2023-10-15T04:00:36Z)
Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文参考訳（メタデータ） (2023-10-12T09:55:45Z)
Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。本稿では,文書を動的に活用するための簡易な手法を提案する。
論文参考訳（メタデータ） (2023-07-20T16:46:10Z)
Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。