論文の概要: Adapting to Decision-Relevant Non-Stationarity in Decentralized Heterogeneous Bandits
- arxiv url: http://arxiv.org/abs/2609.16824v1
- Date: Tue, 15 Sep 2026 08:25:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.414281
- Title: Adapting to Decision-Relevant Non-Stationarity in Decentralized Heterogeneous Bandits
- Title（参考訳）: 分散型不均一帯域における決定関連非定常性への適応
- Abstract要約: ネットワークレベルでの腕を比較するためにDRFC(Decision-Relevant Fresh Comparison)を導入する。
適応項を持たない高確率な動的後悔を$Stloc$で証明する。
合成、半現実、およびMovieLens-1Mのリプレイの実験では、DRFCは決定に関係のない局所的な変更を無視し、拡張は偽スイッチを避けている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized bandit systems often contain heterogeneous agents: rewards can change at individual agents even when the best action for the network stays the same. These local changes may cancel when rewards are averaged across agents, so the number of local changes $\Stloc$ can be much larger than the number of changes in the best common arm $\Stdec$. We introduce Decision-Relevant Fresh Comparison (DRFC), which uses new, balanced samples from all agents to compare arms at the network level and switches only when fresh global evidence indicates that the common best arm has changed. We prove a high-probability dynamic regret bound with no adaptation term depending on $\Stloc$, and show that every algorithm must still pay for identifying genuine decision switches and propagating them through the communication graph. Under a distinct time-average benchmark, an anytime-valid sliding-window extension handles gradual drift; experiments on synthetic, semi-real, and MovieLens-1M replays show that DRFC ignores decision-irrelevant local changes while the extension avoids false switches.
- Abstract（参考訳）: 分散バンディットシステムは、しばしば異種エージェントを含む:報酬は、ネットワークの最良のアクションが同じである場合でも、個々のエージェントで変化する。
これらのローカルな変更は、エージェント間で報酬が平均されるときにキャンセルされる可能性があるため、ローカルな変更$\Stloc$の数は、最高の共通アーム$\Stdec$の変更の数よりもはるかに大きい可能性がある。
ネットワークレベルでの腕の比較に、すべてのエージェントからの新しいバランスの取れたサンプルを使用し、共通のベストアームが変更されたことを示す新鮮なグローバルエビデンスのみを切り替えるDRFC(Decision-Relevant Fresh Comparison)を導入する。
我々は、$\Stloc$に依存する適応項のない高確率な動的後悔を証明し、全てのアルゴリズムが真の決定スイッチを識別し、通信グラフを通してそれらを伝播するためには、依然として支払わなければならないことを示す。
シンセサイザー、セミリアル、およびMovieLens-1Mリプレイの実験では、拡張が偽スイッチを避ける間、DRFCは決定に関係のない局所的な変更を無視していることを示している。
関連論文リスト
- When Do Prompt-Side Agent Playbooks Transfer? Accuracy, Cost, and Runtime Shift in Agent Deployment [5.736916798177956]
共用蒸留-バリデート-トランスファープロトコルによる冷凍プレイブックの転送について検討した。
ALFWorldでは、転送は制御されたgreedyデコードの下で有益である。
TAU2-Benchでは、事前定義された集合コントラストは、最小平均マッチングドメインの利点をサポートする。
論文 参考訳（メタデータ） (2026-08-06T09:10:25Z) - Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning [3.9783774144289623]
GRPOのような批判のない方法は、応答レベルの報酬を利点に変換し、トークン間で均一にブロードキャストする。
本稿では,高感度トークンのクレジットを低減するGRPOの簡易拡張であるCSCRを提案する。
long-CoTの数学的推論ベンチマークでは、CSCRはGRPOベースラインを同じ数のポリシー更新で一貫して上回っている。
論文 参考訳（メタデータ） (2026-07-30T09:03:33Z) - Level, Sharpness, and Corpus: Why Zero-Shot OOD Detector Rankings Do Not Transfer [36.02174685737611]
各検出器は、少なくとも1つのドメインで80%$ FPR95 を超え、所望の検出器は、分配データと基礎となる VLM の両方に依存する。
本稿では, ベース検出器, レベル, シャープネスの非補償融合により, 補完的証拠を保存する検出器非依存ラッパーであるComplementary Evidence Guard(CEG)を紹介する。
論文 参考訳（メタデータ） (2026-07-29T08:00:49Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳（メタデータ） (2026-05-12T03:20:24Z) - Detecting is Easy, Adapting is Hard: Local Expert Growth for Visual Model-Based Reinforcement Learning under Distribution Shift [2.233624388203003]
我々は,罰則の計画,直接微調整,大域的残差補正,粗いゲーティングなど,変化に対応する方法を研究する。
これらの否定的な結果に基づき,JEPA-Indexed Local Expert Growthを提案する。
クラスタ固有の残留専門家が元のコントローラの上に局所的なアクション補正を追加するのに対して、このメソッドは問題インデックス化のみにフリーズされたJEPA表現を使用する。
論文 参考訳（メタデータ） (2026-04-30T04:28:02Z) - A Modularized Framework for Piecewise-Stationary Restless Bandits [16.247398329333205]
本研究では,PS-RMAB問題について検討した。
それぞれの腕はマルコフ連鎖として進化するが、エンフェメアン報酬は未知のセグメント間で変化するかもしれない
本稿では、任意のRMABベースアルゴリズムと変更検出を統合し、新たな探索機構を提案する。
論文 参考訳（メタデータ） (2026-04-11T12:10:54Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - RemoteVAR: Autoregressive Visual Modeling for Remote Sensing Change Detection [52.32112533846212]
リモートセンシングによる変化検出は、環境モニタリングや災害評価といった応用の中心である。
視覚的自己回帰モデルは最近、印象的な画像生成能力を示しているが、画素レベルの識別タスクへの採用は、制御性の弱さ、最適下層予測性能、露出バイアスによって制限されている。
本稿では,これらの制約に対処する新しいVARベースの変化検出フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-17T03:50:00Z) - FedSpeed: Larger Local Interval, Less Communication Round, and Higher
Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。
これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。
本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文 参考訳（メタデータ） (2023-02-21T03:55:29Z) - Finite-time Analysis of Globally Nonstationary Multi-Armed Bandits [14.817218449140338]
データストリーム上の文献からの適応的ウィンドウ化技術を活用した帯域幅アルゴリズムである適応的リセット帯域幅(ADR-bandit)を導入する。
ADR-banditは,大域的な変化と呼ばれる急激な変化や漸進的な変化が発生すると,ほぼ最適な性能を示すことを示す。
実験の結果,提案アルゴリズムは,合成環境や実環境において,既存の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-07-23T19:02:52Z) - Breaking (Global) Barriers in Parallel Stochastic Optimization with Wait-Avoiding Group Averaging [48.99717153937717]
本稿では、ウェイトアビジングサブグループであるWAGMA-SGDについて述べる。
ImageNet上でResNet-50をトレーニングし、機械翻訳用のトランスフォーマー、大規模ナビゲーションのための深い強化学習を行う。
最先端の分散SGDと比較すると、WAGMA-SGDはトレーニングのスループットを大幅に改善する。
論文 参考訳（メタデータ） (2020-04-30T22:11:53Z) - A Unified Theory of Decentralized SGD with Changing Topology and Local
Updates [70.9701218475002]
分散通信方式の統一収束解析を導入する。
いくつかの応用に対して普遍収束率を導出する。
私たちの証明は弱い仮定に依存している。
論文 参考訳（メタデータ） (2020-03-23T17:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。