論文の概要: Can Computation from Earlier Problems Help LLMs Solve New Ones?

• arxiv url: http://arxiv.org/abs/2609.39394v1
• Date: Wed, 30 Sep 2026 09:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.525773
• Title: Can Computation from Earlier Problems Help LLMs Solve New Ones?
• Title（参考訳）: 従来の問題からの計算はLLMの新たな解決に役立つか?
• Abstract要約: 従来の問題からの計算は、同じ領域内であっても、後戻り精度を上昇または低下させることができることを示す。 3つのQwenモデルと4つのベンチマークで、STAIRは変更されていないモデルと履歴を持つモデルに対して、平均的な後戻り精度を最大11.67ポイント改善する。
• 参考スコア（独自算出の注目度）: 44.98683153329889
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often solve independent problems in the same conversation. Can computation from earlier problems help them solve new ones? To answer this question, we first conduct preliminary experiments showing that retained history can raise or lower later-turn accuracy, even within the same domain. To understand these effects, we use controlled replay to isolate internal state changes specific to each problem-history pairing. Across different histories, these changes preserve similar relationships among current problems. To improve reasoning under retained history, we introduce STAIR (Stale-Token Attention for Inter-query Reuse). STAIR captures keys and values from earlier response generation in a fixed bank. It learns to redirect current queries when they read this bank during prompt processing. The base model remains frozen; only 12,288 parameters are trained. Across three Qwen models and four benchmarks, STAIR improves average later-turn accuracy by up to 11.67 percentage points over the unmodified model with history.
• Abstract（参考訳）: 大規模な言語モデルは、しばしば同じ会話で独立した問題を解決する。 以前の問題からの計算は、彼らが新しい問題を解決するのに役立つだろうか? この疑問に答えるために、我々はまず、保持された履歴が、同じ領域内であっても、後向きの精度を上昇または低下させることができることを示す予備実験を行った。 これらの効果を理解するために、我々は制御されたリプレイを使用して、各問題と歴史のペアリングに特有の内部状態の変化を分離する。 様々な歴史の中で、これらの変化は現在の問題と類似した関係を保っている。 歴史保持下での推論を改善するため,STAIR(Stale-Token Attention for Inter-query Reuse)を導入する。 STAIRは、固定バンクで以前のレスポンス生成からキーと値をキャプチャする。 即時処理中にこのバンクを読み取ると、現在のクエリをリダイレクトする。 基本モデルは凍結状態であり、12,288のパラメータしか訓練されていない。 3つのQwenモデルと4つのベンチマークで、STAIRは変更されていないモデルと履歴を持つモデルに対して、平均的な後戻り精度を最大11.67ポイント改善する。

関連論文リスト

• When Context Changes: Understanding Update Failures in LLMs [17.662861646137515]
  モデルが時代遅れの情報をいつ使っているのか、なぜなのかを調査する。 フロンティア推論モデルでさえ、現在の状態の回復に失敗する可能性がある。 オープンソースのモデルでは、モデルが古いモデルに応答したときにも、プローブが更新された値を回復できることが分かりました。
  論文  参考訳（メタデータ） (2026-09-30T03:19:14Z)
• Metacognitive Reuse: Turning Recurring LLM Reasoning Into Concise Behaviors [45.578570554635775]
  大規模言語モデル(LLM)は、思考の連鎖を拡大することによって、多段階の問題を解決する。 再帰的推論の断片を簡潔かつ再利用可能な「行動」に変換する簡単なメカニズムについて検討する。 これらの振る舞いは"振る舞いハンドブック"に格納され、推論時のモデルインコンテキストにそれらを供給するか、教師付き微調整によってパラメータに蒸留する。
  論文  参考訳（メタデータ） (2025-09-16T16:44:26Z)
• Language Modeling with Editable External Knowledge [90.7714362827356]
  本稿では,新たな文書取得時のモデル動作を改善するERASEを提案する。 ドキュメントを追加するたびに、知識ベースで他のエントリを段階的に削除または書き直します。 7-13%(Mixtral-8x7B)と6-10%(Llama-3-8B)の精度を向上する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:35Z)
• Consistency Training by Synthetic Question Generation for Conversational Question Answering [14.211024633768986]
  我々は、歴史的情報を合成的な質問で強化し、その推論を無関係な歴史に対して堅牢にする。 これは、会話型QA設定をモデル化するためのデータ拡張の一形態として、質問生成を用いた最初の研究例である。
  論文  参考訳（メタデータ） (2024-04-17T06:49:14Z)
• diff History for Neural Language Agents [33.13471417703669]
  これらの問題に対するシンプルで効果的なソリューションである差分履歴を導入します。 The Unix diff command on continuous text observed in the interaction histories used to prompt LM policy, we can be abstract away redundant information。 意思決定のために長い水平推論を必要とする未解決のビデオゲームであるNetHackでは、diff履歴を調整したLMがニューラルエージェントの最先端のパフォーマンスにマッチする。
  論文  参考訳（メタデータ） (2023-12-12T18:59:30Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
  オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。 再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
  論文  参考訳（メタデータ） (2022-04-15T14:51:41Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。