論文の概要: Dynamic Tokenization via Reinforcement Patching: End-to-end Training and Zero-shot Transfer

• arxiv url: http://arxiv.org/abs/2603.26097v1
• Date: Fri, 27 Mar 2026 06:08:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.369519
• Title: Dynamic Tokenization via Reinforcement Patching: End-to-end Training and Zero-shot Transfer
• Title（参考訳）: 強化パッチによる動的トークン化:エンド・ツー・エンドトレーニングとゼロ・ショット・トランスファー
• Authors: Yulun Wu, Sravan Kumar Ankireddy, Samuel Sharpe, Nikita Seleznev, Dehao Yuan, Hyeji Kim, Nam H. Nguyen,
• Abstract要約: ReinPatchは、シーケンスパッチポリシーと下流シーケンスバックボーンモデルを協調的に最適化するフレームワークである。 パッチ境界配置をGRPG(Group Relative Policy Gradient)によって最適化された決定プロセスとして定式化することにより、ReinPatchは継続的緩和の必要性を回避できる。 我々は、時系列予測データセット上でReinPatchを評価し、最先端のデータ駆動型パッチ戦略と比較して魅力的なパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 19.88776013507579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficiently aggregating spatial or temporal horizons to acquire compact representations has become a unifying principle in modern deep learning models, yet learning data-adaptive representations for long-horizon sequence data, especially continuous sequences like time series, remains an open challenge. While fixed-size patching has improved scalability and performance, discovering variable-sized, data-driven patches end-to-end often forces models to rely on soft discretization, specific backbones, or heuristic rules. In this work, we propose Reinforcement Patching (ReinPatch), the first framework to jointly optimize a sequence patching policy and its downstream sequence backbone model using reinforcement learning. By formulating patch boundary placement as a discrete decision process optimized via Group Relative Policy Gradient (GRPG), ReinPatch bypasses the need for continuous relaxations and performs dynamic patching policy optimization in a natural manner. Moreover, our method allows strict enforcement of a desired compression rate, freeing the downstream backbone to scale efficiently, and naturally supports multi-level hierarchical modeling. We evaluate ReinPatch on time-series forecasting datasets, where it demonstrates compelling performance compared to state-of-the-art data-driven patching strategies. Furthermore, our detached design allows the patching module to be extracted as a standalone foundation patcher, providing the community with visual and empirical insights into the segmentation behaviors preferred by a purely performance-driven neural patching strategy.
• Abstract（参考訳）: コンパクトな表現を得るための空間的あるいは時間的地平線を効果的に集約することは、現代のディープラーニングモデルでは統一原則となっているが、長い水平シーケンスデータ、特に時系列のような連続シーケンスに対するデータ適応表現を学習することは、未解決の課題である。 固定サイズのパッチはスケーラビリティとパフォーマンスを改善しているが、可変サイズのデータ駆動パッチの発見は、しばしばモデルをソフトな離散化や特定のバックボーン、ヒューリスティックなルールに頼らざるを得ない。 本研究では、強化学習を用いて、シーケンスパッチポリシーと下流シーケンスバックボーンモデルを協調的に最適化する最初のフレームワークであるReinforcement Patching(ReinPatch)を提案する。 パッチ境界配置をGRPG(Group Relative Policy Gradient)によって最適化された離散決定プロセスとして定式化することにより、ReinPatchは継続的な緩和の必要性を回避し、自然な方法で動的パッチポリシー最適化を実行する。 さらに,提案手法は,所望の圧縮速度を厳格に実施し,下流のバックボーンを効率的に拡張し,マルチレベルの階層モデリングを自然にサポートする。 我々は、時系列予測データセット上でReinPatchを評価し、最先端のデータ駆動型パッチ戦略と比較して魅力的なパフォーマンスを示す。 さらに、分離した設計により、パッチモジュールをスタンドアロンのファンデーションパッチパッカーとして抽出することができ、純粋にパフォーマンス駆動のニューラルパッチ戦略によって好まれるセグメンテーション動作に関する視覚的および経験的な洞察をコミュニティに提供する。

関連論文リスト

• TimeSqueeze: Dynamic Patching for Efficient Time Series Forecasting [46.671658381710785]
  TimeSqueezeは動的パッチ機構で、ローカル信号の複雑さに基づいて各シーケンス内のパッチ境界を適応的に選択する。 TimeSqueezeは、同等のポイントツーケンベースラインに比べて最大20倍高速収束と8倍高いデータ効率を実現している。
  論文  参考訳（メタデータ） (2026-03-11T22:38:13Z)
• StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
  本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。 我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。 スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-02T11:35:05Z)
• SEER: Transformer-based Robust Time Series Forecasting via Automated Patch Enhancement and Replacement [9.482558107303646]
  本研究では,SEERと呼ばれる時系列予測フレームワークを提案する。 実世界の時系列では、値の欠如、分散シフト、異常、ホワイトノイズなど、データ収集中にしばしば低品質の問題が発生する。 本稿では,2段階のプロセスを通じて,ロバスト性やモデルの精度を予測できるLearningable Patch Replacement Moduleを提案する。
  論文  参考訳（メタデータ） (2026-01-31T08:12:24Z)
• EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
  IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。 これは、パッチの計算上の利点を維持しながら、時間構造を保存する。 長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
  論文  参考訳（メタデータ） (2025-09-30T12:09:56Z)
• DeCoP: Enhancing Self-Supervised Time Series Representation with Dependency Controlled Pre-training [39.30046923897652]
  本稿では、動的でマルチスケールな依存関係を、進化するパッチ間の依存関係をシミュレートすることで、明示的にモデル化する依存性制御事前学習フレームワークを提案する。 DeCoPは、低いコンピューティングリソースを持つ10のデータセットに対して最先端の結果を達成し、わずか37%のFLOPを使用して、PatchTST上のETTh1上でMSEを3%改善する。
  論文  参考訳（メタデータ） (2025-09-18T05:44:06Z)
• Controllable Patching for Compute-Adaptive Surrogate Modeling of Partial Differential Equations [5.248019942004983]
  本稿では,パッチベースモデルにおける動的パッチサイズ制御の推論を可能にする2つの軽量モジュールを提案する。 私たちの知る限り、これはパッチベースのPDEサロゲートにおいて、推論時パッチサイズのチューニングを可能にする最初のフレームワークです。
  論文  参考訳（メタデータ） (2025-07-12T12:16:04Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。