論文の概要: On the Divergence of Differential Temporal Difference Learning without Local Clocks

• arxiv url: http://arxiv.org/abs/2605.06874v1
• Date: Thu, 07 May 2026 19:19:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.574299
• Title: On the Divergence of Differential Temporal Difference Learning without Local Clocks
• Title（参考訳）: 局所クロックのない時間差分学習の多様性について
• Abstract要約: この研究は、グローバルクロックとローカルクロックを使用して、2種類の学習率を区別する。 割引RLでは、局所時計に収束するRLアルゴリズムは、常に大域時計に収束する。 差分時間差学習は局所時計に収束するが,大域時計に収束することを示す反例を構築した。
• 参考スコア（独自算出の注目度）: 18.568799358278223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning rate is a critical component of reinforcement learning (RL). This work uses global and local clocks to distinguish two types of learning rates. The former is of the standard form $α_t$ that depends only on the time step $t$ (i.e., a global clock). The latter is of the form $α_{ν(S_t, t)}$, where $ν(s, t)$ counts the number of visits to state $s$ until time $t$ (i.e., a local clock). In discounted RL, an RL algorithm that is convergent with a local clock is always also convergent with a global clock, and vice versa. We are not aware of any counterexample. The key contribution of this work is to show that this nice correspondence breaks down in average-reward RL. Specifically, we construct a counterexample showing that although differential temporal difference learning is convergent with a local clock, it can diverge with a global clock. This counterexample closes the open problem in Wan et al. [2021], Blaser et al. [2026].
• Abstract（参考訳）: 学習速度は強化学習(RL)の重要な要素である。 この研究は、グローバルクロックとローカルクロックを使用して、2種類の学習率を区別する。 前者は標準の$α_t$であり、これは時間ステップ$t$(つまりグローバルクロック)にのみ依存する。 後者は$α_{ν(S_t, t)}$の形で、$ν(s, t)$は時間$t$まで状態$s$への訪問回数をカウントする。 割引RLでは、局所時計に収束するRLアルゴリズムは、常に大域時計に収束する。 私たちは反例を知らない。 この研究の重要な貢献は、この優れた対応が平均逆 RL で破れることを示すことである。 具体的には,差分時間差学習は局所時計に収束するが,大域時計に収束することを示す反例を構築した。 この反例は、Wan et al [2021], Blaser et al [2026] の開問題を閉じる。

関連論文リスト

• What do position and time mean in the quantum wavefunction? [0.688204255655161]
  記法 $(x,t)$ は、学生が学習する量子力学の最初のピースの1つである。 生徒は同じ数学的地位を持っているかどうかを問うことができる。 関連する問題は、普遍時間作用素の欠如が単にパウリの議論から従うかどうかである。
  論文  参考訳（メタデータ） (2026-08-24T09:34:58Z)
• Interspecies clock comparison below $5 \ imes 10^{-18}$ uncertainty with a transportable clock [0.0]
  本稿では,2mathrmS_1/2(F0)$-$2mathrmF_7/2(F3)$ Electric-octupole(E3)トランジション間の光周波数比の測定を行った。 その結果、前回の最高値を3倍以上に改善し、種間クロック比較の要件を満たす数少ない要素となった。
  論文  参考訳（メタデータ） (2026-08-03T08:48:18Z)
• The problem of time: a path integral view [47.21208639026933]
  シュルディンガーの進化は、時計の自由度が特定され、半古典的良時計状態に置かれるとどのように現われるかを示す。」 我々の分析は、一般の共変系の経路積分の定式化まで(重力を含む)作用$S$にまで拡張する結果をもたらす。
  論文  参考訳（メタデータ） (2026-05-18T06:43:38Z)
• Su-Schrieffer-Heeger model driven by sequences of two unitaries: periodic, quasiperiodic and random protocols [0.0]
  2つのユニタリ演算子$U_1$と$U$の異なる組み合わせによるSu-Schrieffer-Heegerモデルの駆動効果について検討する。 連帯が周期的に, 準周期的に, ランダムに適用される場合について検討する。
  論文  参考訳（メタデータ） (2025-12-02T07:03:30Z)
• Single-qubit quantum gate at an arbitrary speed [0.7256915467062314]
  強結合かつ超高速な状態下で単一量子ゲートの普遍的な集合を構築することが可能であることを示す。 中心周波数のスケーリング挙動は,長門時間系から短門時間系への遷移を観察する。
  論文  参考訳（メタデータ） (2024-12-27T10:05:27Z)
• Long-distance chronometric leveling with a portable optical clock [0.0]
  我々は、干渉ファイバーリンクによる2つの光学格子クロックの比較により、457mathrmkm$で分離された2つの位置の地電位差を測定した。 年代測地量差の不確実性は、高さが27mathrmcm$の不確実性と等価である。
  論文  参考訳（メタデータ） (2023-09-26T14:12:07Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Online Learning with Adversaries: A Differential-Inclusion Analysis [52.43460995467893]
  我々は,完全に非同期なオンラインフェデレート学習のための観察行列ベースのフレームワークを提案する。 我々の主な結果は、提案アルゴリズムがほぼ確実に所望の平均$mu.$に収束することである。 新たな差分包摂型2時間スケール解析を用いて,この収束を導出する。
  論文  参考訳（メタデータ） (2023-04-04T04:32:29Z)
• Nonlocality under Computational Assumptions [51.020610614131186]
  相関の集合が非局所であるとは、空間的分離な当事者がランダム性を共有し、局所的な操作を実行することによって再現できないことである。 ランダム性や量子時間計算によって再現できない局所的な(効率のよい)測定結果が存在することを示す。
  論文  参考訳（メタデータ） (2023-03-03T16:53:30Z)
• Can We Find Nash Equilibria at a Linear Rate in Markov Games? [95.10091348976779]
  マルチプレイヤーゼロサム割引マルコフゲームにおける分散学習について検討した。 目標は、2つの特性を満たすエージェントのポリシー最適化アルゴリズムを設計することである。
  論文  参考訳（メタデータ） (2023-03-03T02:40:26Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning [77.22019100456595]
  通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。 本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。 また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
  論文  参考訳（メタデータ） (2022-06-16T17:10:57Z)
• Convergence of Batch Asynchronous Stochastic Approximation With Applications to Reinforcement Learning [1.2966003263488448]
  Reinforcement Learning (RL)のいくつかのアプリケーションでは、textitonlyの$theta_t$の1つのコンポーネントは、各$t$で更新される。 本稿では、 textbfBlock Asynchronous SA (BASA) について検討し、各ステップ $t$, textitsome で $theta_t$ のすべてのコンポーネントが更新される必要はない。 BASA の収束に十分な条件を提供し、$theta_t$ to の収束のテキスト化を証明します。
  論文  参考訳（メタデータ） (2021-09-08T06:06:28Z)
• Statistical properties of the localization measure of chaotic eigenstates and the spectral statistics in a mixed-type billiard [0.0]
  混合型位相空間を持つビリヤードのカオス固有状態における量子局在について検討する。 レベル反発指数 $beta$ は経験的に$alpha$ の有理関数であり、$alpha$ の関数としての平均 $langle A rangle$ もまた有理関数によってよく近似されていることを示す。
  論文  参考訳（メタデータ） (2021-04-23T15:33:26Z)
• Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization [59.65871549878937]
  実用的な単一ループ加速勾配追跡には$O(fracgamma1-sigma_gamma)2sqrtfracLepsilon)$が必要であることを証明している。 我々の収束率は$O(frac1epsilon5/7)$と$O(fracLmu)5/7frac1(1-sigma)1.5logfrac1epsilon)$よりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-04-06T15:34:14Z)
• The Geometry of Time in Topological Quantum Gravity of the Ricci Flow [41.94295877935867]
  我々は、リッチフロー方程式の族に付随する非相対論的量子重力の研究を継続する。 この位相重力はコホモロジー型であり、$cal N=2$拡張BRST対称性を示す。 我々は、場が$g_ij$, $ni$, $n$であり、(i)$g_ij$の位相的変形と(ii)超局所非相対論的空間の極限からなる理論の標準的な一段階BRSTゲージ固定を実証する。
  論文  参考訳（メタデータ） (2020-11-12T06:57:10Z)
• Clocks without "time" in entangled-state experiments [0.0]
  光の絡み合った状態は、分離した場所での光検出の間に測定可能な相関関係を示す。 これらの相関は、絡み合った状態の量子鍵分布に利用される。 時間によらず時計を動作させることによって,量子鍵分布の設計を一般化できることを示す。
  論文  参考訳（メタデータ） (2020-04-23T15:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。