論文の概要: Kernel Clustering with Sigmoid-based Regularization for Efficient
Segmentation of Sequential Data
- arxiv url: http://arxiv.org/abs/2106.11541v1
- Date: Tue, 22 Jun 2021 04:32:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-23 23:52:37.241782
- Title: Kernel Clustering with Sigmoid-based Regularization for Efficient
Segmentation of Sequential Data
- Title（参考訳）: シーケンシャルデータの効率的なセグメンテーションのためのsgmoid-based regularizationによるカーネルクラスタリング
- Authors: Tung Doan and Atsuhiro Takasu
- Abstract要約: セグメント化は、データシーケンスを非線形で複雑な構造を持つ複数の重複しないセグメントに分割することを目的としている。
この問題を最適に解決するための一般的なカーネルは動的プログラミング(DP)である。
最適セグメンテーションを近似するために多くのアルゴリズムが提案されているが、それらの解の品質は保証されていない。
- 参考スコア（独自算出の注目度）: 3.8326963933937885
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kernel segmentation aims at partitioning a data sequence into several
non-overlapping segments that may have nonlinear and complex structures. In
general, it is formulated as a discrete optimization problem with combinatorial
constraints. A popular algorithm for optimally solving this problem is dynamic
programming (DP), which has quadratic computation and memory requirements.
Given that sequences in practice are too long, this algorithm is not a
practical approach. Although many heuristic algorithms have been proposed to
approximate the optimal segmentation, they have no guarantee on the quality of
their solutions. In this paper, we take a differentiable approach to alleviate
the aforementioned issues. First, we introduce a novel sigmoid-based
regularization to smoothly approximate the combinatorial constraints. Combining
it with objective of the balanced kernel clustering, we formulate a
differentiable model termed Kernel clustering with sigmoid-based regularization
(KCSR), where the gradient-based algorithm can be exploited to obtain the
optimal segmentation. Second, we develop a stochastic variant of the proposed
model. By using the stochastic gradient descent algorithm, which has much lower
time and space complexities, for optimization, the second model can perform
segmentation on overlong data sequences. Finally, for simultaneously segmenting
multiple data sequences, we slightly modify the sigmoid-based regularization to
further introduce an extended variant of the proposed model. Through extensive
experiments on various types of data sequences performances of our models are
evaluated and compared with those of the existing methods. The experimental
results validate advantages of the proposed models. Our Matlab source code is
available on github.
- Abstract（参考訳）: カーネルセグメンテーションは、データシーケンスを非線形で複雑な構造を持つ複数の非重複セグメントに分割することを目的としている。
一般に、組合せ制約を伴う離散最適化問題として定式化される。
この問題を最適に解く一般的なアルゴリズムは、二次計算とメモリ要件を持つ動的プログラミング(dp)である。
実際にはシーケンスが長すぎることを考えると、このアルゴリズムは実践的なアプローチではない。
最適セグメンテーションを近似するために多くのヒューリスティックアルゴリズムが提案されているが、それらの解の品質は保証されていない。
本稿では,上記の問題を緩和するために,異なるアプローチをとる。
まず, 組合せ制約を円滑に近似する新しいsigmoidベースの正則化を提案する。
バランスの取れたカーネルクラスタリングの目的と組み合わせることで、最適なセグメンテーションを得るために勾配に基づくアルゴリズムを活用できるsgmoid-based regularization (kcsr) を用いた微分可能なカーネルクラスタリングを定式化する。
第二に,提案モデルの確率的変種を開発する。
時間と空間の複雑さがはるかに低い確率勾配降下アルゴリズムを用いて最適化することにより、2番目のモデルが過大なデータ列のセグメンテーションを行うことができる。
最後に、複数のデータ列を同時にセグメント化するために、Sigmoid-based regularization を少し修正し、提案モデルの拡張版を導入する。
様々な種類のデータ列について広範な実験を行い,既存の手法と比較した。
実験結果は,提案モデルの利点を検証した。
matlabのソースコードはgithubから入手できます。
関連論文リスト
- SequentialAttention++ for Block Sparsification: Differentiable Pruning
Meets Combinatorial Optimization [24.55623897747344]
ニューラルネットワークプルーニングは、大規模で拡張性があり、解釈可能で、一般化可能なモデルを構築するための重要な技術である。
群スパース最適化の非正規化として,既存の微分可能なプルーニング手法がいくつあるかを示す。
我々は、ImageNetとCriteoデータセット上の大規模ニューラルネットワークブロックワイドプルーニングタスクの最先端技術であるSequentialAttention++を提案する。
論文 参考訳（メタデータ） (2024-02-27T21:42:18Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Accelerating Cutting-Plane Algorithms via Reinforcement Learning
Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。
多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。
そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文 参考訳（メタデータ） (2023-07-17T20:11:56Z) - Efficient Convex Algorithms for Universal Kernel Learning [50.877957471649395]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-15T04:57:37Z) - Regularization and Optimization in Model-Based Clustering [4.096453902709292]
k-平均アルゴリズムの変種は、本質的に同じ球面ガウスの混合と、そのような分布から大きく逸脱するデータに適合する。
一般のGMMに対してより効率的な最適化アルゴリズムを開発し、これらのアルゴリズムと正規化戦略を組み合わせ、過度な適合を避ける。
これらの結果から, GMM と k-means 法の間の現状に新たな光を当て, 一般 GMM をデータ探索に利用することが示唆された。
論文 参考訳（メタデータ） (2023-02-05T18:22:29Z) - Kernel Biclustering algorithm in Hilbert Spaces [8.303238963864885]
我々は,エネルギー距離と平均誤差の最大値という概念を用いて,抽象空間における新しいモデルフリー・ビクラスタリングアルゴリズムを開発した。
提案手法は,既存の文献よりも一般的で複雑なクラスタ形状を学習することができる。
提案手法は,カーネルの適切な選択を前提として,その最適シナリオにおける最先端手法と類似している。
論文 参考訳（メタデータ） (2022-08-07T08:41:46Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - Multi-View Spectral Clustering with High-Order Optimal Neighborhood
Laplacian Matrix [57.11971786407279]
マルチビュースペクトルクラスタリングは、データ間の固有のクラスタ構造を効果的に明らかにすることができる。
本稿では,高次最適近傍ラプラシア行列を学習するマルチビュースペクトルクラスタリングアルゴリズムを提案する。
提案アルゴリズムは, 1次ベースと高次ベースの両方の線形結合の近傍を探索し, 最適ラプラシア行列を生成する。
論文 参考訳（メタデータ） (2020-08-31T12:28:40Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳（メタデータ） (2020-08-23T20:36:49Z) - Differentiable Segmentation of Sequences [2.1485350418225244]
我々は、連続的なワープ関数の学習の進歩の上に構築し、双方向パワー(TSP)分布に基づく新しいワープ関数のファミリーを提案する。
我々の定式化は特別な場合として分割一般化線型モデルの重要なクラスを含む。
我々は、PoissonレグレッションによるCOVID-19の拡散をモデル化し、変化点検出タスクに適用し、概念ドリフトによる分類モデルを学習する。
論文 参考訳（メタデータ） (2020-06-23T15:51:48Z) - A Group Norm Regularized Factorization Model for Subspace Segmentation [4.926716472066594]
本稿では,部分空間分割のためのLRRモデルにインスパイアされた群ノルム正規化因数分解モデル(GNRFM)を提案する。
具体的には、群ノルム正規化を採用し、係数行列の列をスパースにすることで、低ランクの目的を達成する。
従来のモデルやアルゴリズムと比較して、提案手法はより高速でノイズに強いため、最終的なクラスタリング結果の方が優れている。
論文 参考訳（メタデータ） (2020-01-08T15:20:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。