論文の概要: A two-step sequential approach for hyperparameter selection in finite context models

• arxiv url: http://arxiv.org/abs/2603.19736v1
• Date: Fri, 20 Mar 2026 08:20:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.050551
• Title: A two-step sequential approach for hyperparameter selection in finite context models
• Title（参考訳）: 有限文脈モデルにおけるハイパーパラメータ選択のための2段階逐次的アプローチ
• Authors: José Contente, Ana Martins, Armando J. Pinho, Sónia Gouveia,
• Abstract要約: 本稿では,FCMにおける効率的なハイパーパラメータ選択のための統計的2段階逐次手法を提案する。 平均(シンボル当たりのビット)で網羅的なグリッド探索に匹敵する圧縮性能を実現する
• 参考スコア（独自算出の注目度）: 0.08155575318208629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finite-context models (FCMs) are widely used for compressing symbolic sequences such as DNA, where predictive performance depends critically on the context length k and smoothing parameter α. In practice, these hyperparameters are typically selected through exhaustive search, which is computationally expensive and scales poorly with model complexity. This paper proposes a statistically grounded two-step sequential approach for efficient hyperparameter selection in FCMs. The key idea is to decompose the joint optimization problem into two independent stages. First, the context length k is estimated using categorical serial dependence measures, including Cramér's ν, Cohen's \k{appa} and partial mutual information (pami). Second, the smoothing parameter α is estimated via maximum likelihood conditional on the selected context length k. Simulation experiments were conducted on synthetic symbolic sequences generated by FCMs across multiple (k, α) configurations, considering a four-letter alphabet and different sample sizes. Results show that the dependence measures are substantially more sensitive to variations in k than in α, supporting the sequential estimation strategy. As expected, the accuracy of the hyperparameter estimation improves with increasing sample size. Furthermore, the proposed method achieves compression performance comparable to exhaustive grid search in terms of average bitrate (bits per symbol), while substantially reducing computational cost. Overall, the results on simulated data show that the proposed sequential approach is a practical and computationally efficient alternative to exhaustive hyperparameter tuning in FCMs.
• Abstract（参考訳）: 有限コンテキストモデル(FCM)は、文脈長kと平滑化パラメータαに重要な予測性能が依存するDNAのようなシンボリックシーケンスの圧縮に広く用いられている。 実際には、これらのハイパーパラメータは通常、網羅的な探索によって選択される。 本稿では,FCMにおける効率的なハイパーパラメータ選択のための統計的2段階逐次手法を提案する。 鍵となる考え方は、共同最適化問題を2つの独立した段階に分解することである。 まず、文脈長さ k はクラメールのν、コーエンの \k{appa} および部分的相互情報(パミ)を含むカテゴリー的直列依存度を用いて推定される。 第2に、選択した文脈長さkの最大極大条件により、平滑化パラメータαを推定する。 シミュレーション実験は、複数の(k, α)構成のFCMによって生成された合成記号列について、4文字のアルファベットと異なるサンプルサイズを考慮して行った。 その結果, 依存度はαよりもkの変動にかなり敏感であり, 逐次推定戦略を支持することが明らかとなった。 予想通り, 試料径の増大に伴い, ハイパーパラメータ推定の精度が向上する。 さらに,提案手法は,平均ビットレート(シンボル毎のビット)で網羅的グリッド探索に匹敵する圧縮性能を実現し,計算コストを大幅に削減する。 シミュレーションデータから得られた結果から,提案手法はFCMにおける指数関数型ハイパーパラメータチューニングに代わる,実用的で効率的な手法であることが示唆された。

関連論文リスト

• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Enhanced Derivative-Free Optimization Using Adaptive Correlation-Induced Finite Difference Estimators [6.054123928890574]
  勾配推定効率とサンプル効率の両面からDFOを向上させるアルゴリズムを開発した。 提案アルゴリズムの整合性を確立し,反復毎にサンプルのバッチを用いても,KW法やSPSA法と同じ収束率が得られることを示した。
  論文  参考訳（メタデータ） (2025-02-28T08:05:54Z)
• Likelihood-Free Inference and Hierarchical Data Assimilation for Geological Carbon Storage [0.0]
  我々は,CO2 ストレージアプリケーションのための階層型データ同化フレームワークを開発した。 我々は超パラメータ推定における計算的に難解な確率関数を扱う。 3次元逐次R-U-Net深層学習に基づく代理モデルを適用し,フォワード関数の評価を行った。
  論文  参考訳（メタデータ） (2024-10-20T06:15:56Z)
• Efficient and Robust Parameter Optimization of the Unitary Coupled-Cluster Ansatz [4.607081302947026]
  本稿では、量子コンピュータ上でのユニタリ結合クラスタ・アンサッツのパラメータ最適化のために、近似パラボラ(SOAP)を用いた逐次最適化を提案する。 分子システムに関する数値的なベンチマークでは、SOAPはより高速な収束とノイズに対する堅牢性を達成することが示されている。 SOAPは、2量子ビットモデルシステムを用いた超伝導量子コンピュータの実験によりさらに検証される。
  論文  参考訳（メタデータ） (2024-01-10T03:30:39Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。