論文の概要: Memory Retrieval and Consolidation in Large Language Models through Function Tokens

• arxiv url: http://arxiv.org/abs/2510.08203v1
• Date: Thu, 09 Oct 2025 13:31:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.095148
• Title: Memory Retrieval and Consolidation in Large Language Models through Function Tokens
• Title（参考訳）: 関数トークンによる大規模言語モデルの記憶検索と統合
• Authors: Shaohua Zhang, Yuan Lin, Hang Li,
• Abstract要約: 大規模言語モデル(LLM)の動作を説明するために関数トークン仮説を提案する。 推論中、関数トークンはコンテキストから最も予測可能な機能を起動する。 トレーニング前では、トレーニング損失は関数トークンに続く次のコンテントトークンの予測によって支配される。
• 参考スコア（独自算出の注目度）: 9.46824580067366
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The remarkable success of large language models (LLMs) stems from their ability to consolidate vast amounts of knowledge into the memory during pre-training and to retrieve it from the memory during inference, enabling advanced capabilities such as knowledge memorization, instruction-following and reasoning. However, the mechanisms of memory retrieval and consolidation in LLMs remain poorly understood. In this paper, we propose the function token hypothesis to explain the workings of LLMs: During inference, function tokens activate the most predictive features from context and govern next token prediction (memory retrieval). During pre-training, predicting the next tokens (usually content tokens) that follow function tokens increases the number of learned features of LLMs and updates the model parameters (memory consolidation). Function tokens here roughly correspond to function words in linguistics, including punctuation marks, articles, prepositions, and conjunctions, in contrast to content tokens. We provide extensive experimental evidence supporting this hypothesis. Using bipartite graph analysis, we show that a small number of function tokens activate the majority of features. Case studies further reveal how function tokens activate the most predictive features from context to direct next token prediction. We also find that during pre-training, the training loss is dominated by predicting the next content tokens following function tokens, which forces the function tokens to select the most predictive features from context.
• Abstract（参考訳）: 大規模言語モデル(LLM)の顕著な成功は、事前学習中に大量の知識をメモリに集約し、推論中にメモリから取り出す能力に起因している。 しかし、LLMにおけるメモリ検索と統合のメカニズムはいまだによく理解されていない。 本稿では,LLMの動作を説明するために,関数トークン仮説を提案する。 推論中,関数トークンはコンテキストから最も予測的な特徴を活性化し,次のトークン予測(メモリ検索)を管理する。 事前トレーニング中、関数トークンに従う次のトークン(通常はコンテントトークン)を予測することで、LLMの学習した機能の数を増やし、モデルパラメータ(メモリ統合)を更新する。 ここでの関数トークンは、コンテンツトークンとは対照的に、句読点、記事、前置詞、接続文を含む言語学における関数ワードに大まかに対応している。 この仮説を裏付ける広範な実験的な証拠を提供する。 両部グラフ解析を用いて,少数の関数トークンが機能の大部分を活性化することを示す。 ケーススタディでは、関数トークンがコンテキストから直接次のトークン予測への最も予測的な機能をどのように活性化するかをさらに明らかにしている。 また、事前トレーニングの間、トレーニング損失は関数トークンに続く次のコンテントトークンの予測によって支配され、関数トークンはコンテキストから最も予測可能な機能を選択する。

関連論文リスト

• A circuit for predicting hierarchical structure in-context in Large Language Models [19.35678318316516]
  大規模言語モデル(LLM)はコンテキスト内学習において優れており、将来的なトークンの予測を改善するためにコンテキストとして提供される情報を利用することができる。 そこで本研究では,トークンを階層的依存関係で繰り返し行う合成文脈内学習タスクを設計する。 文脈内で何に参加するべきかを学習することで予測を支援する適応型誘導ヘッドが見つかる。
  論文  参考訳（メタデータ） (2025-09-25T20:20:23Z)
• Improving Large Language Models with Concept-Aware Fine-Tuning [55.59287380665864]
  概念認識ファインチューニング(CAFT)は,大規模言語モデル(LLM)のための新しいマルチトークン学習手法である CAFTは複数のトークンにまたがるシーケンスの学習を可能にし、より強力な概念認識学習を促進する。 実験は、従来の次世代ファインタニング法と比較して大幅に改善された。
  論文  参考訳（メタデータ） (2025-06-09T14:55:00Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• Identifying and Analyzing Performance-Critical Tokens in Large Language Models [52.404072802235234]
  我々は大規模な言語モデルがいかに実演からタスクを実行するかを研究する。 私たちの仕事は、大規模な言語モデルがデモからタスクを実行するための学習方法に光を当て、さまざまな種類のトークンが大きな言語モデルで果たす役割についての理解を深めます。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Understanding the Role of Input Token Characters in Language Models: How Does Information Loss Affect Performance? [45.53600782873268]
  入力トークン文字における情報損失が事前学習言語モデルの性能に与える影響について検討する。 驚くべきことに、極端な設定下であっても事前トレーニングを行うこと、すなわちトークンの1文字だけを使うこと、標準のNLUベンチマークのパフォーマンス保持、および探索タスクが高いことが判明した。 例えば、トークンからの1文字1文字にのみ事前トレーニングされたモデルでは、SuperGLUEタスクとGLUEタスクのフルトーケンモデルの約90ドル%と7,7ドル%のパフォーマンス保持が達成される。
  論文  参考訳（メタデータ） (2023-10-26T09:47:50Z)
• Predictive Representation Learning for Language Modeling [33.08232449211759]
  副次的情報の相関がLSTM表現に現れるが、それらは暗黙的に監督された予測タスクの一部ではない。 予測表現学習(PRL)を提案し,LSTMを明示的に制約し,特定の予測を符号化する。
  論文  参考訳（メタデータ） (2021-05-29T05:03:47Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。