論文の概要: LLM-as-RNN: A Recurrent Language Model for Memory Updates and Sequence Prediction

• arxiv url: http://arxiv.org/abs/2601.13352v1
• Date: Mon, 19 Jan 2026 19:41:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.038054
• Title: LLM-as-RNN: A Recurrent Language Model for Memory Updates and Sequence Prediction
• Title（参考訳）: LLM-as-RNN: メモリ更新とシーケンス予測のためのリカレント言語モデル
• Authors: Yuxing Lu, J. Ben Tamo, Weichen Zhao, Nan Sun, Yishan Zhong, Wenqi Shi, Jinzhuo Wang, May D. Wang,
• Abstract要約: 大規模言語モデルは強いシーケンス予測子であるが、標準推論は不変のコンテキスト履歴に依存している。 提案するLLM-as-RNNは,凍結したLLMを,その隠れ状態を自然言語メモリとして表現することで,再帰予測器に変換する推論専用フレームワークである。 本手法はLlama, Gemma, GPTモデルファミリにおける医療, 気象学, ファイナンスにおける3つの逐次ベンチマークで評価した。
• 参考スコア（独自算出の注目度）: 16.71499144106184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are strong sequence predictors, yet standard inference relies on immutable context histories. After making an error at generation step t, the model lacks an updatable memory mechanism that improves predictions for step t+1. We propose LLM-as-RNN, an inference-only framework that turns a frozen LLM into a recurrent predictor by representing its hidden state as natural-language memory. This state, implemented as a structured system-prompt summary, is updated at each timestep via feedback-driven text rewrites, enabling learning without parameter updates. Under a fixed token budget, LLM-as-RNN corrects errors and retains task-relevant patterns, effectively performing online learning through language. We evaluate the method on three sequential benchmarks in healthcare, meteorology, and finance across Llama, Gemma, and GPT model families. LLM-as-RNN significantly outperforms zero-shot, full-history, and MemPrompt baselines, improving predictive accuracy by 6.5% on average, while producing interpretable, human-readable learning traces absent in standard context accumulation.
• Abstract（参考訳）: 大きな言語モデルは強いシーケンス予測子であるが、標準推論は不変のコンテキスト履歴に依存している。 生成ステップtでエラーが発生した後、ステップt+1の予測を改善するアップダブルメモリ機構が欠けている。 提案するLLM-as-RNNは,凍結したLLMを,その隠れ状態を自然言語メモリとして表現することで,再帰予測器に変換する推論専用フレームワークである。 この状態は構造化されたシステムプロンプトの要約として実装され、フィードバック駆動によるテキストの書き直しによって各時刻に更新される。 固定トークン予算の下では、LLM-as-RNNはエラーを修正し、タスク関連パターンを保持し、言語によるオンライン学習を効果的に行う。 本手法はLlama, Gemma, GPTモデルファミリにおける医療, 気象学, ファイナンスにおける3つの逐次ベンチマークで評価した。 LLM-as-RNNはゼロショット、フルヒストリー、MemPromptベースラインを著しく上回り、予測精度を平均6.5%向上させ、標準的な文脈の蓄積に欠けている解釈可能な人間の読みやすい学習トレースを生成する。

関連論文リスト

• Is More Context Always Better? Examining LLM Reasoning Capability for Time Interval Prediction [15.45305246863211]
  大規模言語モデル(LLM)は、異なるドメインをまたいだ推論と予測において印象的な能力を示している。 本稿では,LLMが繰り返しユーザの行動の時間間隔を予測できるかどうかを系統的に検討する。 我々は、統計モデルと機械学習モデルの両方に対してゼロショット設定で最先端のLCMをベンチマークする。
  論文  参考訳（メタデータ） (2026-01-15T07:18:40Z)
• Beyond Naïve Prompting: Strategies for Improved Zero-shot Context-aided Forecasting with LLMs [57.82819770709032]
  大規模言語モデル (LLM) は、na "ive direct prompting" を通じて効果的な文脈支援予測を行うことができる。 ReDPは、明確な推論トレースを抽出することで、解釈可能性を改善し、コンテキスト上でモデルの推論を評価することができる。 CorDPはLLMを活用して、既存の予測をコンテキストで洗練し、現実の予測パイプラインにおける適用性を高める。 IC-DPは、文脈支援予測タスクの歴史的例を即時に組み込むことを提案し、大規模モデルにおいても精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-13T16:02:55Z)
• Language Bottleneck Models: A Framework for Interpretable Knowledge Tracing and Beyond [55.984684518346924]
  我々は、知識追跡を逆問題として再考する: 過去の回答を説明できる最小限の自然言語要約を学習し、将来の回答を予測できる。 我々のLanguage Bottleneck Model(LBM)は、解釈可能な知識要約を書くエンコーダLLMと、その要約テキストのみを使用して生徒の反応を再構成し予測しなければならないフリーズデコーダLLMで構成されている。 合成算術ベンチマークと大規模Eediデータセットの実験により、LBMは最先端のKT法と直接LLM法の精度に匹敵する一方で、受講者軌道のオーダーを少なくすることを示した。
  論文  参考訳（メタデータ） (2025-06-20T13:21:14Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• Is Your LLM Outdated? A Deep Look at Temporal Generalization [37.58752947129519]
  本稿では,Large Language Models(LLMs)における時間的一般化の概念を紹介する。 LLMの時間適応性を評価するために、新しいテキストとイベント予測を利用する新しい評価フレームワークであるFreshBenchを紹介する。 以上の結果から,将来的にはより優れたモデルが急速に減少する傾向にあることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-14T09:31:31Z)
• Optimizing Class-Level Probability Reweighting Coefficients for Equitable Prompting Accuracy [12.287692969438169]
  LLMは、事前訓練されたデータの統計正則性からのバイアスをしばしば発見する。 これは、分類とQAにおいて、永続的で不均一なクラス精度をもたらす。 本研究では,非微分不可能な性能駆動メトリクスを直接最適化するポストホック確率再重み付け手法を開発した。
  論文  参考訳（メタデータ） (2024-05-13T10:30:33Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。