論文の概要: Sense Once, Serve Many: Common-Trace Factorized Constrained PPO for Online Sensing-Session Consolidation in Multi-Tenant ISAC Networks

• arxiv url: http://arxiv.org/abs/2608.29256v1
• Date: Sat, 29 Aug 2026 13:20:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.903254
• Title: Sense Once, Serve Many: Common-Trace Factorized Constrained PPO for Online Sensing-Session Consolidation in Multi-Tenant ISAC Networks
• Title（参考訳）: Sense Once, Serve Many: Common-Trace Factorized Constrained PPO for Online Sensing-Session Consolidation in Multi-Tenant ISAC Networks
• Abstract要約: 我々はCT-PPO(Common-Trace Factorized Constrained Proximal Policy Optimization)を提案する。 CT-PPOは、マッチングされたJoint-Credit PPO(JC-PPO)の0.934倍、SLA-Aware Greedyの1.847倍の平均マクロリターンを達成する。 4方向は、因子化されたサロゲートだけでは検出可能なマクロリターンゲインが得られないことを示し、一方、共通トレース報酬クレジットを追加することで、主要な改善をもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integrated sensing and communication (ISAC) networks can serve compatible requests through shared sensing sessions, but consolidation couples admission, reuse, profile selection, sensing service-level agreements (SLAs), communication quality of service (QoS), and future commitments. We formulate this problem as a constrained Markov decision process and propose Common-Trace Factorized Constrained Proximal Policy Optimization (CT-PPO). During training, stochastic policy replicas share the same primitive workload trace; leave-one-out discounted Monte Carlo return contrasts provide reward credit to applicable actor factors, while constraint credit remains factor/prefix-specific. Across five training seeds and matched workloads, CT-PPO achieves the highest mean macro return, exceeding matched Joint-Credit PPO (JC-PPO) by 0.934 (95% confidence interval [0.702, 1.164]) and SLA-Aware Greedy by 1.847; versus JC-PPO, it reduces sensing-resource cost by 6.277 and raises accepted requests per created session by 0.0806. A four-way ablation shows that the factorized surrogate alone yields no detectable macro-return gain, whereas adding common-trace reward credit produces the dominant improvement. Without retraining, CT-PPO retains a return advantage at low, nominal, and high arrival loads, with the strongest gain under clustered arrivals. Deployment uses public observations and hard masks; CT-PPO's extra parameters are training-side, its actor footprint matches JC-PPO, and actor-only CPU latency is effectively unchanged.
• Abstract（参考訳）: 統合型センシング・コミュニケーション(ISAC)ネットワークは、共有センシングセッションを通じて互換性のある要求を提供することができるが、統合されたカップルは、入会、再利用、プロファイルの選択、サービスレベルの合意(SLA)のセンシング、サービスのコミュニケーション品質(QoS)、将来のコミットメントを提供する。 本稿では,この問題をマルコフ決定過程として定式化し,コモントレース因数分解制約近似政策最適化(CT-PPO)を提案する。 トレーニング中、確率的ポリシーのレプリカは、同じ原始的なワークロードトレースを共有している。 CT-PPOは5つのトレーニングシードと一致したワークロードで、一致したJoint-Credit PPO(JC-PPO)を0.934(95%の信頼区間 [0.702, 1.164])、SLA-Aware Greedyを1.847で上回り、JC-PPOに対して、センシングリソースコストを6.277削減し、0.0806で生成されたセッション毎の許容リクエストを増加させる。 4方向のアブレーションは、因子化されたサロゲートだけでは検出可能なマクロリターンゲインが得られないことを示し、一方、共通トレース報酬クレジットを追加することで、支配的な改善をもたらす。 再トレーニングなしでは、CT-PPOは低い、名目上、高い到着負荷でリターンの優位性を保持し、クラスタ化された到着下では最も高い利得を保っている。 CT-PPOの余分なパラメータはトレーニング側であり、アクターフットプリントはJC-PPOと一致し、アクターのみのCPUレイテンシは実質的に変化しない。

関連論文リスト

• Mitigating Bias in Low-SNR Financial Reinforcement Learning via Quantum Representations [32.164152251693565]
  金融市場は典型的な低信号-雑音比(SNR)の設定であり、ソフトアクター-臨界(SAC)のような最大エントロピー法を不安定化することが多い。 本稿では,アクタと批評家ネットワークの前に,効率よく有界な量子回路(PQC)であるFPQC-SACを提案する。 実世界のポートフォリオ管理タスクに関する実証的な評価は、FPQC-SACがサンプル外安定性と累積リターンを大幅に向上させることを示している。
  論文  参考訳（メタデータ） (2026-06-09T05:55:06Z)
• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• When RLHF Fails: A Mechanistic Taxonomy of Reward Hacking, Collapse, and Evaluator Gaming [0.0]
  近似ポリシ最適化(PPO)を用いたコンパクトRLHFパイプラインの失敗モードに関する実証的研究について述べる。 我々は、学習した報酬の方向、判定スコア、および平均判定スコアを用いて、チェックポイント間の一致した遷移を分類する。 ROC-AUC 0.821による将来の行レベルの報酬ハッキングを予測し、行レベルの分析では、チェックポイント平均が12の3つの設定で見逃すような局所的な報酬ハックが見つかる。
  論文  参考訳（メタデータ） (2026-06-02T06:55:52Z)
• Physics-Informed Causal MDPs for Sequential Constraint Repair in Engineering Simulation Pipelines [0.0]
  本稿では,制約依存が層状DAGを形成するCMDPのためのフレームワークであるPI-CMDPを紹介する。 工学シミュレーションパイプラインにおける制約修復におけるPI-CMDPのインスタンス化を行う。
  論文  参考訳（メタデータ） (2026-04-20T07:40:15Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• PAPO: Stabilizing Rubric Integration Training via Decoupled Advantage Normalization [31.935482701047544]
  本稿では,既存の報酬設計の2つの制約に対処するプロセスアウェア・ポリシー・オプティマイズ(PAPO)を提案する。 PAPOはプロセスレベルの評価をグループ相対政策最適化(GRPO)に統合する。 複数のモデルスケールと6つのベンチマークの実験は、PAPOがORMを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-27T15:48:13Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• PRISM-FCP: Byzantine-Resilient Federated Conformal Prediction via Partial Sharing [6.066028939131919]
  PRISM-FCPは、ビザンチンの回復力のあるフェデレート・コンフォーマル予測フレームワークである。 トレーニング中、クライアントはラウンド毎にM$$D$パラメータを送信することでアップデートを部分的に共有する。 キャリブレーション中、クライアントは非整合性スコアを特徴づけベクトルに変換し、距離ベースの悪意度スコアを計算し、ビザンティンの貢献を疑うダウンウェイトやフィルタを疑う。
  論文  参考訳（メタデータ） (2026-02-20T18:01:59Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• PRPO: Aligning Process Reward with Outcome Reward in Policy Optimization [15.965340493880701]
  我々は、結果の信頼性とプロセスレベルのガイダンスを、批判のないフレームワークで組み合わせたプロセス相対政策最適化(PRPO)を導入する。 PRPOは意味的手がかりに基づいて推論シーケンスを分割し、PRMスコアをトークンレベルの利点に正規化し、それらの分布を結果の利点と整合させる。 MATH500では、PRPOはQwen2.5-Math-1.5Bの精度を61.2%から64.4%に改善した。
  論文  参考訳（メタデータ） (2026-01-12T04:04:43Z)
• Lean and Mean: Decoupled Value Policy Optimization with Global Value Guidance [52.65461207786633]
  政策に基づく人間からのフィードバックからの強化学習は、大きな言語モデルと人間の嗜好の整合に不可欠である。 俳優と批評家の合同トレーニングと、事前訓練された一定の報酬モデルによる指導が必要である。 従来の報酬モデリングを事前訓練されたEmphglobal Value Model(GVM)に置き換えるリーンフレームワークである textbfDecoupled Value Policy Optimization (DVPO) を提案する。
  論文  参考訳（メタデータ） (2025-02-24T08:11:33Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。