論文の概要: KnowMap: Efficient Knowledge-Driven Task Adaptation for LLMs

• arxiv url: http://arxiv.org/abs/2506.19527v1
• Date: Tue, 24 Jun 2025 11:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.604644
• Title: KnowMap: Efficient Knowledge-Driven Task Adaptation for LLMs
• Title（参考訳）: KnowMap: LLMの効率的な知識駆動タスク適応
• Authors: Kelin Fu, Kaigui Bian,
• Abstract要約: 環境および経験データから知識ベースを動的に構築する新しいアプローチであるKnowMapを提案する。 KnowMapは、大きな言語モデルに価値のあるタスク固有の知識を持たせるために、小さな知識埋め込みモデルを微調整する。
• 参考スコア（独自算出の注目度）: 12.429384836078086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Large Language Models (LLMs) possess significant capabilities in open-world agent tasks, they also face challenges in rapidly adapting to new, specialized tasks due to their reliance on static pre-trained knowledge. Traditional methods such as fine-tuning are often costly, data-intensive, and may lead to "catastrophic forgetting." Therefore, we present KnowMap, a novel approach that dynamically constructs a knowledge base from environmental and experiential data. KnowMap fine-tunes a small knowledge-embedding model to equip a larger LLM with valuable task-specific knowledge. Our experiments on the ScienceWorld benchmark demonstrate 17.71% improvement for the performance of gpt-4-turbo model. KnowMap not only provides an efficient and effective means for LLM task-adapting, but also highlights how integrating environmental and experiential knowledge can enhance LLMs' reasoning capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、オープンワールドエージェントタスクにおいて重要な機能を持っているが、静的事前訓練された知識に依存しているため、新しい専門的なタスクに迅速に適応する上での課題にも直面している。 微調整のような伝統的な手法はコストが高く、データ集約的であり、「破滅的な忘れ物」につながることがある。 そこで我々は,環境および経験データから知識ベースを動的に構築する新しいアプローチであるKnowMapを提案する。 KnowMapは、大きなLLMに価値のあるタスク固有の知識を提供するために、小さな知識埋め込みモデルを微調整する。 ScienceWorldベンチマークの実験では,gpt-4-turboモデルの性能が17.71%向上した。 KnowMapは、LLMタスク適応のための効率的かつ効果的な手段を提供するだけでなく、環境知識と経験知識の統合がLLMの推論能力をいかに高めるかを強調している。

関連論文リスト

• Improving LLM Agent Planning with In-Context Learning via Atomic Fact Augmentation and Lookahead Search [48.348209577994865]
  大規模言語モデル(LLM)はますます有能になるが、複雑で対話的な環境で効果的に機能するためには、重要なガイダンスや広範な相互作用履歴を必要とすることが多い。 テキスト内学習による計画能力を高める新しいLLMエージェントフレームワークを提案する。 我々のエージェントは、その相互作用軌跡からタスククリティカルな原子事実'を抽出することを学ぶ。
  論文  参考訳（メタデータ） (2025-06-10T18:36:31Z)
• Catastrophic Forgetting in LLMs: A Comparative Analysis Across Language Tasks [0.0]
  大規模言語モデル(LLM)は、かなり高度な自然言語処理(NLP)を持つ 本研究では,主要なNLUタスクに対する各種オープンソースLLMの連続的な微調整について検討する。 以上の結果から,Phi-3.5-miniのようなモデルでは,強い学習能力を維持しつつ,最小限の忘れを生じさせることが示唆された。
  論文  参考訳（メタデータ） (2025-04-01T23:06:55Z)
• Enhancing LLM Knowledge Learning through Generalization [73.16975077770765]
  我々は,LLMが様々な言い換えの文脈に与えられた同じ事実的知識トークンを継続的に予測する能力は,質問応答によってその知識を抽出する能力と正の相関性を示す。 そこで本稿では,LLMの知識獲得能力を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-05T17:56:20Z)
• From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
  大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。 本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
  論文  参考訳（メタデータ） (2025-02-17T12:58:17Z)
• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  本稿では,効率的なモデル適応によりRAGシステムを強化する自己教師型フレームワークKBAlignを提案する。 私たちのキーとなる洞察は、2つの革新的なメカニズムを通じて、モデルの本質的な能力を知識の整合性に活用することです。 KBAlign は GPT-4 による適応によって得られる性能向上の90%を達成できることを示した。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Improving Sample Efficiency of Reinforcement Learning with Background Knowledge from Large Language Models [33.504700578933424]
  低サンプリング効率は強化学習(RL)の持続的課題である 環境の背景知識を抽出するために,大規模言語モデルを利用するフレームワークを導入する。 実験により, 下流タスクのスペクトルにおいて, サンプル効率が著しく向上することが確認された。
  論文  参考訳（メタデータ） (2024-07-04T14:33:47Z)
• Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
  大規模言語モデル(LLM)は最新の情報の提供に苦慮することが多い。 既存のアプローチは、通常、新しいドキュメントのトレーニングを継続する。 効率的なヒューマンラーニングにおけるFeynman Techniqueの成功に感銘を受けて、セルフチューニングを紹介した。
  論文  参考訳（メタデータ） (2024-06-10T14:42:20Z)
• Fine-Grained Stateful Knowledge Exploration: A Novel Paradigm for Integrating Knowledge Graphs with Large Language Models [19.049828741139425]
  大きな言語モデル(LLM)は印象的な能力を示していますが、その知識を更新することは大きな課題です。 既存のほとんどのメソッドは、質問を目的として扱うパラダイムを使用し、関連する知識は知識グラフから漸進的に取得される。 本稿では,情報粒度ミスマッチ問題に対処する,微粒なステートフル知識探索のための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-01-24T13:36:50Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• Thrust: Adaptively Propels Large Language Models with External Knowledge [69.50273822565363]
  大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。 PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。 本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
  論文  参考訳（メタデータ） (2023-07-19T20:16:46Z)
• Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
  大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。 外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。 我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。