論文の概要: Mosaic: Multi-Session Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.22174v1
• Date: Thu, 15 Oct 2026 16:32:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.19238
• Title: Mosaic: Multi-Session Agentic Reinforcement Learning
• Title（参考訳）: Mosaic:マルチセッションエージェント強化学習
• Abstract要約: 本稿では,任意のセッション数をサポートするマルチセッションエージェント強化学習について紹介する。 軌道レベルでは、セッション使用信号が有利な推定に組み込まれている。 セッションレベルでは、各セッションの利点を見積もりの限界貢献に応じて形作る。
• 参考スコア（独自算出の注目度）: 23.896908218531422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing agentic reinforcement learning methods assume single-session trajectories, where interaction proceeds within one continuously accumulated context. However, agentic techniques such as context compaction and subagent forking may produce trajectories spanning multiple sessions, creating a mismatch between the single-session training assumption and inference-time execution. Therefore, we introduce Multi-Session Agentic Reinforcement Learning, a more general setting that supports an arbitrary number of sessions within a trajectory. Under this setting, a widely adopted method is to broadcast trajectory-level advantages to all sessions, but this does not distinguish contributions from various sessions or guide session allocation within trajectories. To address this issue, we propose Mosaic, a multi-session agentic RL method with critic-free hierarchical optimization. At the trajectory level, it incorporates session-usage signals into advantage estimation. At the session level, it shapes each session's advantage according to the estimated marginal contribution. Experiments on BrowseComp with Qwen3.5-4B show that Mosaic outperforms broadcasting in both context compaction and subagent forking scenarios while using fewer sessions on average. Further analyses show that our method achieves improvements in session utility and allocation, which we suggested is a promising target for future advances in multi-session agentic RL.
• Abstract（参考訳）: 既存のエージェント強化学習手法の多くは、連続的に蓄積されたコンテキスト内で相互作用が進行する単一セッション軌道を仮定する。 しかし、文脈のコンパクト化やサブエージェントのフォークのようなエージェント手法は、複数のセッションにまたがる軌道を生成し、単一セッションのトレーニング仮定と推論時実行のミスマッチを生成する。 そこで本研究では,任意のセッション数をサポートするマルチセッションエージェント強化学習について紹介する。 この設定の下では、トラジェクトリレベルの利点をすべてのセッションにブロードキャストする方法が広く採用されているが、様々なセッションからのコントリビューションや、トラジェクトリ内でのセッションアロケーションのガイドは区別されない。 この問題に対処するために,批判のない階層最適化を備えたマルチセッションエージェントRL法であるMosaicを提案する。 軌道レベルでは、セッション使用信号が有利な推定に組み込まれている。 セッションレベルでは、各セッションの利点を見積もりの限界貢献に応じて形作る。 Qwen3.5-4BによるBrowseCompの実験では、Mosaicは平均セッション数を減らしながら、コンテキストのコンパクト化とサブエージェントのフォークシナリオの両方でブロードキャスティングに優れていた。 さらに分析した結果,本手法はセッションユーティリティとアロケーションの改善を実現しており,マルチセッションエージェントRLの今後の進歩の目標として期待できることがわかった。

関連論文リスト

• From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
  疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。 モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。 タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
  論文  参考訳（メタデータ） (2026-01-28T09:29:40Z)
• AMUSE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding [73.05946667683259]
  最近の大規模言語モデル(MLLM)は、強い認識を示すが、多話者、対話中心の設定に苦戦している。 本質的にエージェント的なタスクを中心に設計されたベンチマークであるAMUSEを紹介します。 我々は、報酬最適化と本質的なマルチモーダル自己評価を統合するデータ効率の高いエージェントアライメントフレームワークRAFTを提案する。
  論文  参考訳（メタデータ） (2025-12-18T07:01:47Z)
• Hierarchical Intent-guided Optimization with Pluggable LLM-Driven Semantics for Session-based Recommendation [22.653549796453426]
  セッションベースのレコメンデーション(SBR)は、匿名セッション内でのインタラクションシーケンスを使用して、ユーザが関与する可能性のある次の項目を予測することを目的としている。 既存のSBRモデルは、セッション間の関係を無視し、価値あるクロスセッションの洞察を無視して、シングルセッションの情報のみに焦点を当てることが多い。 HIPHOPと呼ばれるセッションベースレコメンデーションのためのプラグイン型LLM型セマンティックラーニングを用いた階層型インテント誘導最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-07-07T02:50:04Z)
• Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation [51.06031200728449]
  我々はmccHRLと呼ばれる新しいフレームワークを提案し、リストワイドレコメンデーションにおける時間的抽象化のレベルを異なるものにする。 階層的な枠組みの中では、ハイレベルエージェントがユーザ知覚の進化を研究し、低レベルエージェントがアイテム選択ポリシーを作成している。 その結果,本手法による性能改善は,いくつかのよく知られたベースラインと比較して有意な結果が得られた。
  論文  参考訳（メタデータ） (2024-09-11T17:01:06Z)
• Instance Selection for Dynamic Algorithm Configuration with Reinforcement Learning: Improving Generalization [16.49696895887536]
  動的アルゴリズム構成(DAC)は、多様なインスタンスに対してアルゴリズムのハイパーパラメータを動的に設定するという課題に対処する。 Deep Reinforcement Learning (RL)でトレーニングされたエージェントは、そのような設定を解決するための経路を提供する。 我々は、過剰表現を克服するためにトレーニングインスタンスの代表的なサブセットを選択して、このサブセット上のエージェントを再訓練し、一般化性能を向上させることで、この問題を軽減するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-07-18T13:44:43Z)
• Towards All-in-one Pre-training via Maximizing Multi-modal Mutual Information [77.80071279597665]
  マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。 提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:49Z)
• SR-GCL: Session-Based Recommendation with Global Context Enhanced Augmentation in Contrastive Learning [5.346468677221906]
  セッションベースのレコメンデーションは、進行中のセッションに基づいて、ユーザの次の振る舞いを予測することを目的としている。 最近の研究は、複雑なアイテム遷移をキャプチャするための注意機構を備えたグラフニューラルネットワークを適用している。 セッションベースレコメンデーションのための新しいコントラスト学習フレームワークSR-GCLを提案する。
  論文  参考訳（メタデータ） (2022-09-22T06:18:20Z)
• Deep Reinforcement Learning for Distributed and Uncoordinated Cognitive Radios Resource Allocation [1.218340575383456]
  本稿では,認知無線ネットワークが提示するマルチエージェント環境のための,深層強化学習に基づく資源配分手法を提案する。 提案したアルゴリズムは、非定常環境における平衡ポリシーに任意に長い時間で収束する。 標準の単エージェント深部強化学習手法を用いることで,非協調的対話型マルチラジオシナリオで使用する場合,収束が得られない可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-27T12:43:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。