論文の概要: FastMem: Fast Memorization of Prompt Improves Context Awareness of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.16069v2
• Date: Mon, 2 Sep 2024 09:13:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 17:41:09.068957
• Title: FastMem: Fast Memorization of Prompt Improves Context Awareness of Large Language Models
• Title（参考訳）: FastMem: Promptの高速覚書化により,大規模言語モデルのコンテキスト認識性が向上
• Authors: Junyi Zhu, Shuochen Liu, Yu Yu, Bo Tang, Yibo Yan, Zhiyu Li, Feiyu Xiong, Tong Xu, Matthew B. Blaschko,
• Abstract要約: 我々は、命令を微調整した大規模言語モデルのコンテキスト認識を強化する新しい手法であるFastMemを紹介する。 FastMemは、最後のFeed-Forward Network (FFN)モジュールのみを微調整することで、推論前のプロンプトの可能性を最大化する。 本実験は, 読解理解, テキスト要約, 出力構造への順守において, かなりの効果を示した。
• 参考スコア（独自算出の注目度）: 24.030755262499994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) excel in generating coherent text, but they often struggle with context awareness, leading to inaccuracies in tasks requiring faithful adherence to provided information. We introduce FastMem, a novel method designed to enhance instruction fine-tuned LLMs' context awareness through fast memorization of the prompt. FastMem maximizes the likelihood of the prompt before inference by fine-tuning only the last Feed-Forward Network (FFN) module. This targeted approach ensures efficient optimization without overfitting, significantly improving the model's ability to comprehend and accurately follow the context. Our experiments demonstrate substantial gains in reading comprehension, text summarization and adherence to output structures. For instance, FastMem improves the accuracy of Llama 3-8B-Inst on the NQ-SWAP dataset from 59.1% to 71.6%, and reduces the output structure failure rate of Qwen 1.5-4B-Chat from 34.9% to 25.5%. Extensive experimental results highlight FastMem's potential to offer a robust solution to enhance the reliability and accuracy of LLMs in various applications. Our code is available at: https://github.com/IAAR-Shanghai/FastMem
• Abstract（参考訳）: 大きな言語モデル(LLM)は、一貫性のあるテキストを生成するのに優れているが、コンテキスト認識に苦しむことが多く、提供された情報に忠実に従わなければならないタスクにおいて不正確である。 我々は,命令を微調整したLLMの文脈認識を高速な記憶により向上させる新しい手法であるFastMemを紹介する。 FastMemは、最後のFeed-Forward Network (FFN)モジュールのみを微調整することで、推論前のプロンプトの可能性を最大化する。 このターゲットのアプローチは、過度に適合することなく効率的な最適化を保証し、モデルの理解能力を大幅に改善し、コンテキストを正確に追従する。 本実験は, 読解理解, テキスト要約, 出力構造への順守において, かなりの効果を示した。 例えば、FastMemはNQ-SWAPデータセット上のLlama 3-8B-Instの精度を59.1%から71.6%に改善し、Qwen 1.5-4B-Chatの出力構造失敗率を34.9%から25.5%に下げる。 大規模な実験の結果は、さまざまなアプリケーションにおけるLLMの信頼性と精度を高める堅牢なソリューションを提供するFastMemの可能性を浮き彫りにしている。 私たちのコードは、https://github.com/IAAR-Shanghai/FastMemで利用可能です。

関連論文リスト

• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• SentenceVAE: Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context [49.9628075245959]
  本稿では,文中の複数のトークンを1つのトークンに圧縮する文を含む文変分自動エンコーダ(文変分自動エンコーダ)と,それを再構成する文変分自動エンコーダ(文変分自動エンコーダ)を提案する。 提案手法は, 推定速度を204365%高速化し, パープレキシティ(PPL)を4675%まで低減し, メモリオーバーヘッドを8691%削減する。
  論文  参考訳（メタデータ） (2024-08-01T15:45:19Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• SUBLLM: A Novel Efficient Architecture with Token Sequence Subsampling for LLM [24.65339628772433]
  SUBLLMは、サブサンプリング、アップサンプリング、バイパスモジュールを組み込むことで、コアデコーダのみのフレームワークを拡張する革新的なアーキテクチャである。 トレーニング中、SUBLLMはスピードを26%向上し、GPU毎にメモリを10GB削減する。 推論では、スピードを最大37%向上し、1GPUあたりのメモリを1GB削減する。
  論文  参考訳（メタデータ） (2024-06-03T16:43:04Z)
• Efficient Prompt Tuning by Multi-Space Projection and Prompt Fusion [9.55994486328914]
  プロンプトチューニングは、大規模パラメータを再訓練することなく、事前訓練された言語モデルを微調整する有望な方法である。 既存の方法は精度と効率のバランスをとるのが難しい。 より長い(厳密な)ソフトプロンプトは、一般的には、より(より悪い)正確さをもたらすが、より(少ない)トレーニング時間に費やされる。 マルチスペースプロジェクションとプロンプト融合による効率的なプロンプトチューニング法(EPT)を提案する。
  論文  参考訳（メタデータ） (2024-05-19T06:43:12Z)
• StablePT: Towards Stable Prompting for Few-shot Learning via Input Separation [14.341806875791288]
  sysnameは最先端の手法を6.97%精度で上回り、標準偏差を平均1.92倍に下げる。 テストは、さまざまなタスクをカバーする8つのデータセットの堅牢性と安定性を強調している。
  論文  参考訳（メタデータ） (2024-04-30T08:01:49Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• CliqueParcel: An Approach For Batching LLM Prompts That Jointly Optimizes Efficiency And Faithfulness [13.554160815699435]
  CliqueParcelは、推論プロセス中に大きな言語モデル(LLM)の効率を改善するように設計されている。 CliqueParcelは、広く認識されている8つのデータセットでテストされている。 この研究は推論効率に関する新しい洞察を提供し、有望なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-02-17T22:37:17Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。