論文の概要: Recursive State-Augmented Language Models: Persistent Latent-State Adaptation of Pretrained Language Models
- arxiv url: http://arxiv.org/abs/2611.16375v1
- Date: Thu, 12 Nov 2026 06:42:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.38007
- Title: Recursive State-Augmented Language Models: Persistent Latent-State Adaptation of Pretrained Language Models
- Title(参考訳): Recursive State-Augmented Language Models: 事前訓練された言語モデルの持続潜時適応
- Abstract要約: 言語モデルは有限トークンコンテキストに依存しており、以前のインタラクションへのアクセスを制限する。
本稿では,持続的な潜伏状態が観測毎に進化するフレームワークであるRecursive State-Augmented Language Models (Recursive SALM)を紹介する。
実験により、持続的な潜伏条件付き適応は、デコーダコンテキストから前のエビデンスが欠如している場合に、シーケンシャルな推論をサポートすることが示された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models rely on finite token contexts, limiting access to earlier interactions. We introduce Recursive State-Augmented Language Models (Recursive SALM), a framework in which a persistent latent state evolves with each observation and generates adaptations of a pretrained language model. A modular read-transition-write architecture separates observation encoding, latent dynamics, and predictor adaptation. We develop deterministic and stochastic formulations. The experiments evaluate only deterministic SALM with frozen GPT-2 small and exclude earlier evidence from its decoder context. On a four-turn hypothesis-inference task, latent-gated LoRA reaches 89.1% accuracy, comparable to 88.0% for a trained full-context LoRA baseline, with earlier evidence available solely through a 64-dimensional state. Zeroing or shuffling the state substantially reduces accuracy. In a two-turn task with codewords unseen in training, several interfaces improve candidate ranking over chance, but rarely generate the exact codeword under the evaluated training schedule. These experiments show that persistent latent-conditioned adaptation can support sequential inference when earlier evidence is absent from the decoder context.
- Abstract(参考訳): 言語モデルは有限トークンコンテキストに依存しており、以前のインタラクションへのアクセスを制限する。
本稿では、持続的な潜伏状態が各観測で進化し、事前学習された言語モデルの適応を生成するフレームワークであるRecursive State-Augmented Language Models (Recursive SALM)を紹介する。
モジュラー・リード・トランジション・ライトアーキテクチャは、観察エンコーディング、潜時ダイナミクス、予測器適応を分離する。
我々は決定論的・確率的定式化を開発する。
実験では、凍った GPT-2 が小さい決定論的 SALM のみを評価し、初期の証拠をデコーダの文脈から除外した。
4ターンの仮説推論タスクでは、潜在ゲートLoRAは89.1%の精度に達し、トレーニングされたフルコンテキストLoRAベースラインの88.0%に匹敵する。
状態のゼロ化やシャッフルは精度を大幅に低下させる。
トレーニングで見つからないコードワードを持つ2ターンタスクでは、いくつかのインターフェースが候補ランキングを改善するが、評価されたトレーニングスケジュールの下で正確なコードワードを生成することは滅多にない。
これらの実験により、持続的な潜在条件付き適応は、デコーダコンテキストから前のエビデンスが欠如している場合に、シーケンシャルな推論をサポートすることが示された。
関連論文リスト
- Decoupled Predictive Decision Making: A Shared Conditional Predictor for Agents [23.52121147892733]
DPDMは、共有事前学習者による条件付き予測として不均一なエージェント決定を定式化する。
1つの凍結したLimiX-2予測器は5つのタスクカテゴリすべてを提供する。
Qwen3.5-27Bがセマンティックエンコーダとなり、DPDMは50ベンチマークの平均精度を78.80%から84.92%に引き上げた。
論文 参考訳(メタデータ) (2026-11-01T17:27:21Z) - Stabilizing language models under continual learning via condition-anchored distillation [8.714454059716838]
言語モデルの継続的な適応は、以前の学習したプロンプトで出力分布を変更することができるが、古いプロンプトとアンサーのペアを全て保持することは望ましくない、あるいは不可能である。
本研究は,CAGD (Consumed-anchored Generative distillation) について検討し, 古いプロンプトを少量保持し, 凍結前のモデルを用いて完成状態と生成状態を復元し, 次の課題を学習しながら予測分布と一致させる。
論文 参考訳(メタデータ) (2026-10-03T07:22:11Z) - WESR: Scaling and Evaluating Word-level Event-Speech Recognition [59.21814194620928]
音声は言語情報だけでなく、笑ったり泣いたりするような豊富な非言語的な音声イベントも伝達する。
我々は,21の発声イベントの分類を改良し,個別(スタンドアローン)と連続(音声と混合)に分類した。
改良された分類法に基づくWESR-Benchは,新しい位置認識プロトコルを備えた専門家アノテート評価セット(900以上の発話)である。
論文 参考訳(メタデータ) (2026-01-08T02:23:21Z) - Natural Context Drift Undermines the Natural Language Understanding of Large Language Models [17.3648708521395]
そこで本研究では,現代QAベンチマークから自然に進化し,人間によって編集された読解路の変種を計算するためのフレームワークを提案する。
このフレームワークを用いて、6つのQAデータセットと8つの大規模言語モデルを公開トレーニングデータで評価する。
実験の結果、読み出し路が事前訓練中に遭遇したバージョンから自然に分岐するにつれて、LLMの性能は低下することがわかった。
論文 参考訳(メタデータ) (2025-09-01T03:32:50Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳(メタデータ) (2025-08-22T10:54:33Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
In-context Learning の出現における事前学習分布の役割について検討した。
本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。
我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
論文 参考訳(メタデータ) (2021-11-03T09:12:33Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。