論文の概要: StateTree: Enhancing Long-Term Dialogue Reasoning via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.38809v1
• Date: Wed, 30 Sep 2026 02:38:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.046796
• Title: StateTree: Enhancing Long-Term Dialogue Reasoning via Reinforcement Learning
• Title（参考訳）: StateTree: 強化学習による長期対話推論の強化
• Abstract要約: StateTreeはデータ駆動のRL手法であり、検証済みの真理の少ない対話から挑戦的な補助タスクを構築する。 木深度を漸進的に増加させるカリキュラムRLトレーニングを適用し,ステップレベルの推論フラグメントをエッジに持つ構成変種を導入する。 StateTreeは、フル長のRLコストなしで128Kトークンに一般化し、クロスセッション検索、時間的推論、知識更新、合成マルチホップ推論などの機能を提供する。
• 参考スコア（独自算出の注目度）: 13.06908863038075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models deployed as personalized assistants must reason over long, evolving interaction histories. However, in long-term dialogue reasoning, relevant evidence is scattered across sessions, preferences may be revised over time, and standard long-context training fails to address these challenges under data scarcity and prohibitive computational costs. We propose StateTree, a data-driven RL method that constructs a challenging auxiliary task from scarce dialogues with verifiable ground truth. StateTree augments multi-session dialogues with a tree-structured path-tracing task: key-value records are embedded across sessions to form a binary tree. Solving the task requires the model to traverse from root to leaf by retrieving records across sessions and comparing timestamps to resolve branches, then recover the hidden target question among distractor leaves. We apply curriculum RL training progressively increasing tree depth and introduce a compositional variant whose edges carry step-level reasoning fragments, training the model to compose partial cues into coherent queries. Trained on 10K-token contexts, StateTree generalizes to 128K tokens without full-length RL costs and exhibits capabilities including cross-session retrieval, temporal reasoning, knowledge update, and compositional multi-hop reasoning. StateTree outperforms both SFT and RL-based baselines while preserving short-context general reasoning. StateTree-7B achieves gains up to +23.60% on LongMemEval (128k), and StateTree-14B reaches 59.00% accuracy on LongMemEval, surpassing QwenLong-L1-32B (45.20%).
• Abstract（参考訳）: パーソナライズされたアシスタントとしてデプロイされる大規模な言語モデルは、長く進化するインタラクション履歴を推論する必要があります。 しかし、長期の対話推論では、関連する証拠はセッションに散らばり、嗜好は時間とともに修正される可能性があり、標準の長期コンテキストトレーニングはデータの不足や計算コストの禁止の下でこれらの課題に対処することができない。 本稿では,データ駆動型RL手法であるStateTreeを提案する。 StateTreeは、ツリー構造化パストレースタスクによるマルチセッション対話を強化している。 タスクの解決には、セッション間でレコードを検索し、ブランチを解決するためのタイムスタンプを比較して、ルートからリーフへ行わなければならない。 木深度を徐々に増加させるカリキュラムRLトレーニングを適用し、エッジがステップレベルの推論フラグメントを持つ構成変種を導入し、部分的なキューをコヒーレントなクエリに構成するようにモデルを訓練する。 10KトークンのコンテキストでトレーニングされたStateTreeは、フル長のRLコストなしで128Kトークンに一般化し、クロスセッション検索、時間的推論、知識更新、合成マルチホップ推論などの機能を提供する。 StateTreeは、短文の一般的な推論を保ちながら、SFTとRLベースのベースラインを上回ります。 StateTree-7BはLongMemEval (128k)で+23.60%、StateTree-14BはLongMemEvalで59.00%、QwenLong-L1-32B (45.20%)を上回っている。

関連論文リスト

• Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context [64.09777482878083]
  本稿では,LVLMの長期継続事前学習に関する体系的研究について述べる。 まず、長文書VQAはOCR転写よりかなり効果的であることを示す。 MMProLongは,Qwen2.5-VL-7Bの長文継続事前学習で得られる5Bの予算しか持たない。
  論文  参考訳（メタデータ） (2026-05-13T17:52:53Z)
• Memory-T1: Reinforcement Learning for Temporal Reasoning in Multi-session Agents [80.33280979339123]
  強化学習(RL)を用いた時間認識メモリ選択ポリシーを学習するフレームワークであるMemory-T1を紹介する。 Time-Dialogベンチマークでは、Memory-T1が7Bモデルを67.0%に引き上げ、オープンソースモデルの新たな最先端パフォーマンスを確立した。
  論文  参考訳（メタデータ） (2025-12-23T06:37:29Z)
• LoongRL: Reinforcement Learning for Advanced Reasoning over Long Contexts [21.07202581368365]
  より進んだ長文推論のためのデータ駆動型RL法であるLoongRLを紹介する。 KeyChainは、短いマルチホップQAを高微分長文タスクに変換する合成手法である。 Qwen2.5-7Bと14Bでは、LongRLは長文マルチホップQAの精度を+23.5%、+21.1%向上させる。
  論文  参考訳（メタデータ） (2025-10-22T08:35:28Z)
• Toward Multi-Session Personalized Conversation: A Large-Scale Dataset and Hierarchical Tree Framework for Implicit Reasoning [30.54506564763053]
  2500のサンプルを持つ大規模長期データセットであるImplexConvを紹介し、それぞれに約100の会話セッションを含む。 また,会話履歴を複数のレベルの要約に構造化する新しい階層木フレームワークであるTaciTreeを提案する。
  論文  参考訳（メタデータ） (2025-03-10T07:59:41Z)
• How to Train Long-Context Language Models (Effectively) [75.5418485597276]
  言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。 コードリポジトリと書籍は長いデータの優れた情報源であることがわかったが、それらと高品質の短文データを組み合わせることが不可欠である。 最終モデルであるProLong-8Bは、128Kの同様のサイズのモデル間で、最先端の長文性能を示す。
  論文  参考訳（メタデータ） (2024-10-03T16:46:52Z)
• Enhancing Long-Term Memory using Hierarchical Aggregate Tree for Retrieval Augmented Generation [1.4665304971699265]
  HATは子どものノードから情報をカプセル化し、奥行き制御で広い範囲をカバーできる。 実験では、HATはベースラインコンテキストよりもダイアログコヒーレンスと要約品質を改善している。
  論文  参考訳（メタデータ） (2024-06-10T09:29:08Z)
• Prompt-Based Monte-Carlo Tree Search for Goal-Oriented Dialogue Policy Planning [22.753613264491918]
  GDP-Zero は Open-Loop MCTS を用いて,モデルトレーニングなしで目標指向の対話ポリシ計画を実行するアプローチである。 我々は、目標指向タスクPersuasionForGood上でGDP-Zeroを評価し、そのレスポンスがChatGPTよりも59.32%の確率で望ましいことを発見した。
  論文  参考訳（メタデータ） (2023-05-23T04:07:03Z)
• RLET: A Reinforcement Learning Based Approach for Explainable QA with Entailment Trees [47.745218107037786]
  本稿では,強化学習に基づくEntailment Tree生成フレームワークであるRLETを提案する。 RLETは文の選択と推論生成モジュールによる単一ステップ推論を反復的に行う。 EntailmentBankデータセットの3つの設定の実験では、RLフレームワークを使用することの強みが示されている。
  論文  参考訳（メタデータ） (2022-10-31T06:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。