論文の概要: KnowMap: Efficient Knowledge-Driven Task Adaptation for LLMs
- arxiv url: http://arxiv.org/abs/2506.19527v1
- Date: Tue, 24 Jun 2025 11:30:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-25 19:48:23.604644
- Title: KnowMap: Efficient Knowledge-Driven Task Adaptation for LLMs
- Title（参考訳）: KnowMap: LLMの効率的な知識駆動タスク適応
- Authors: Kelin Fu, Kaigui Bian,
- Abstract要約: 環境および経験データから知識ベースを動的に構築する新しいアプローチであるKnowMapを提案する。
KnowMapは、大きな言語モデルに価値のあるタスク固有の知識を持たせるために、小さな知識埋め込みモデルを微調整する。
- 参考スコア（独自算出の注目度）: 12.429384836078086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Large Language Models (LLMs) possess significant capabilities in open-world agent tasks, they also face challenges in rapidly adapting to new, specialized tasks due to their reliance on static pre-trained knowledge. Traditional methods such as fine-tuning are often costly, data-intensive, and may lead to "catastrophic forgetting." Therefore, we present KnowMap, a novel approach that dynamically constructs a knowledge base from environmental and experiential data. KnowMap fine-tunes a small knowledge-embedding model to equip a larger LLM with valuable task-specific knowledge. Our experiments on the ScienceWorld benchmark demonstrate 17.71% improvement for the performance of gpt-4-turbo model. KnowMap not only provides an efficient and effective means for LLM task-adapting, but also highlights how integrating environmental and experiential knowledge can enhance LLMs' reasoning capabilities.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、オープンワールドエージェントタスクにおいて重要な機能を持っているが、静的事前訓練された知識に依存しているため、新しい専門的なタスクに迅速に適応する上での課題にも直面している。
微調整のような伝統的な手法はコストが高く、データ集約的であり、「破滅的な忘れ物」につながることがある。
そこで我々は,環境および経験データから知識ベースを動的に構築する新しいアプローチであるKnowMapを提案する。
KnowMapは、大きなLLMに価値のあるタスク固有の知識を提供するために、小さな知識埋め込みモデルを微調整する。
ScienceWorldベンチマークの実験では,gpt-4-turboモデルの性能が17.71%向上した。
KnowMapは、LLMタスク適応のための効率的かつ効果的な手段を提供するだけでなく、環境知識と経験知識の統合がLLMの推論能力をいかに高めるかを強調している。
関連論文リスト
- Enhancing LLM Knowledge Learning through Generalization [73.16975077770765]
我々は,LLMが様々な言い換えの文脈に与えられた同じ事実的知識トークンを継続的に予測する能力は,質問応答によってその知識を抽出する能力と正の相関性を示す。
そこで本稿では,LLMの知識獲得能力を高めるための2つの戦略を提案する。
論文 参考訳（メタデータ） (2025-03-05T17:56:20Z) - KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
本稿では,効率的なモデル適応によりRAGシステムを強化する自己教師型フレームワークKBAlignを提案する。
私たちのキーとなる洞察は、2つの革新的なメカニズムを通じて、モデルの本質的な能力を知識の整合性に活用することです。
KBAlign は GPT-4 による適応によって得られる性能向上の90%を達成できることを示した。
論文 参考訳（メタデータ） (2024-11-22T08:21:03Z) - Improving Sample Efficiency of Reinforcement Learning with Background Knowledge from Large Language Models [33.504700578933424]
低サンプリング効率は強化学習(RL)の持続的課題である
環境の背景知識を抽出するために,大規模言語モデルを利用するフレームワークを導入する。
実験により, 下流タスクのスペクトルにおいて, サンプル効率が著しく向上することが確認された。
論文 参考訳（メタデータ） (2024-07-04T14:33:47Z) - Fine-Grained Stateful Knowledge Exploration: A Novel Paradigm for Integrating Knowledge Graphs with Large Language Models [19.049828741139425]
大きな言語モデル(LLM)は印象的な能力を示していますが、その知識を更新することは大きな課題です。
既存のほとんどのメソッドは、質問を目的として扱うパラダイムを使用し、関連する知識は知識グラフから漸進的に取得される。
本稿では,情報粒度ミスマッチ問題に対処する,微粒なステートフル知識探索のための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-01-24T13:36:50Z) - Thrust: Adaptively Propels Large Language Models with External Knowledge [69.50273822565363]
大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。
PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。
本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
論文 参考訳（メタデータ） (2023-07-19T20:16:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。