論文の概要: KnowLA: Enhancing Parameter-efficient Finetuning with Knowledgeable Adaptation

• arxiv url: http://arxiv.org/abs/2403.14950v1
• Date: Fri, 22 Mar 2024 04:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 18:37:30.404492
• Title: KnowLA: Enhancing Parameter-efficient Finetuning with Knowledgeable Adaptation
• Title（参考訳）: KnowLA: 知識適応によるパラメータ効率向上
• Authors: Xindi Luo, Zequn Sun, Jing Zhao, Zhe Zhao, Wei Hu,
• Abstract要約: そこで我々は,KnowLAという,知識に富んだ適応手法を提案する。 LLMに適応層を挿入し、入力テキストに現れるエンティティの埋め込みを統合する。
• 参考スコア（独自算出の注目度）: 18.593612008576265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient finetuning (PEFT) is a key technique for adapting large language models (LLMs) to downstream tasks. In this paper, we study leveraging knowledge graph embeddings to improve the effectiveness of PEFT. We propose a knowledgeable adaptation method called KnowLA. It inserts an adaptation layer into an LLM to integrate the embeddings of entities appearing in the input text. The adaptation layer is trained in combination with LoRA on instruction data. Experiments on six benchmarks with two popular LLMs and three knowledge graphs demonstrate the effectiveness and robustness of KnowLA. We show that \modelname can help activate the relevant parameterized knowledge in an LLM to answer a question without changing its parameters or input prompts.
• Abstract（参考訳）: パラメータ効率の微調整(PEFT)は,大規模言語モデル(LLM)を下流タスクに適用するための重要な手法である。 本稿では,知識グラフの埋め込みを利用してPEFTの有効性を向上する。 そこで我々は,KnowLAという,知識に富んだ適応手法を提案する。 LLMに適応層を挿入し、入力テキストに現れるエンティティの埋め込みを統合する。 適応層は命令データにおいてLoRAと組み合わせて訓練される。 一般的なLLMと3つの知識グラフを用いた6つのベンチマーク実験は、KnowLAの有効性と堅牢性を示している。 パラメータや入力プロンプトを変更することなく、LLM内の関連するパラメータ化知識を活性化し、質問に答えることができることを示す。

関連論文リスト

• WAGLE: Strategic Weight Attribution for Effective and Modular Unlearning in Large Language Models [26.07431044262102]
  本稿では,大規模言語モデル(LLM)におけるモデルウェイトと未学習プロセスの相互作用について考察する。 重みの「影響」と「影響」とを相互に関連付けることによって,重みの「影響」を記憶・保持するLLMアンラーニング手法であるWAGLEを設計する。
  論文  参考訳（メタデータ） (2024-10-23T02:22:07Z)
• Time Sensitive Knowledge Editing through Efficient Finetuning [35.79991957163508]
  大きな言語モデル(LLM)は、様々なタスクにおいて印象的な能力を示し、多くのドメインに変革をもたらす。 LLMの知識を最新に保つことは、事前トレーニングが完了するまで、依然として課題である。 既存の位置と編集の知識編集(KE)手法には2つの制限がある。
  論文  参考訳（メタデータ） (2024-06-06T20:41:36Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。