論文の概要: Streaming Structured Inference with Flash-SemiCRF

• arxiv url: http://arxiv.org/abs/2604.18780v1
• Date: Mon, 20 Apr 2026 19:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.455641
• Title: Streaming Structured Inference with Flash-SemiCRF
• Title（参考訳）: Flash-SemiCRFによるストリーミング構造推論
• Abstract要約: Semi-Markov Conditional Random Fields (semi-CRF) は、個々の位置ではなくシーケンスのセグメントにラベルを割り当てる。 既存の実装では、シーケンス長、最大セグメント長、ラベル数とともにサイズが大きくなる大きなエッジポテンシャルテンソルを具体化しなければならない。 このメモリボトルネックは、長いシーケンスに対する正確なセグメントレベルの推論の採用を制限する。
• 参考スコア（独自算出の注目度）: 2.088618125128629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semi-Markov Conditional Random Fields (semi-CRFs) assign labels to segments of a sequence rather than to individual positions, enabling exact inference over segment-level features and principled uncertainty estimates at their boundaries. However, existing implementations must materialize a large edge potential tensor whose size grows with sequence length, maximum segment length, and label count, becoming prohibitive for speech-scale state spaces and intractable at genomic scales where sequences can exceed 100,000 positions. This memory bottleneck has limited the adoption of exact segment-level inference for long sequences and large label sets. We identify that the core inefficiency is materializing edge potentials that can instead be evaluated on-the-fly from a compact prefix-sum array, and make several improvements. First, replacing the stored edge tensor with prefix-sum lookup reduces the memory footprint by a factor proportional to the product of segment length and label count. Second, a streaming forward-backward pass with checkpoint-boundary normalization keeps working memory sublinear in sequence length while preserving exact gradients. Third, zero-centered cumulative scores control numerical drift and induce an adaptive duration prior under label imbalance. We integrate these ideas into Flash-SemiCRF, a fused Triton kernel that enables exact semi-CRF inference on previously intractable problem sizes. Available at https://github.com/biobenkj/flash-semicrf.
• Abstract（参考訳）: Semi-Markov Conditional Random Fields (semi-CRFs) は、個々の位置ではなくシーケンスのセグメントにラベルを割り当て、セグメントレベルの特徴に対する正確な推測と、その境界における原則的不確実性推定を可能にする。 しかし、既存の実装では、配列長、最大セグメント長、ラベル数とともにサイズが大きくなる大きなエッジポテンシャルテンソルを具体化しなければならない。 このメモリボトルネックは、長いシーケンスと大きなラベルセットに対する正確なセグメントレベルの推論の採用を制限している。 本研究の目的は,コンパクトなプレフィックスサムアレーをオンザフライで評価できるエッジ電位を現実化することであり,いくつかの改良がなされることである。 まず、記憶されたエッジテンソルをプレフィックスサムルックアップに置き換えることで、セグメント長とラベルカウントの積に比例する係数でメモリフットプリントを減少させる。 第二に、チェックポイント境界正規化付きストリーミングフォワードバックパスは、正確な勾配を保ちながら、動作メモリをシーケンス長でサブリニアに保ちます。 第3に、ゼロ中心累積スコアは数値ドリフトを制御し、ラベル不均衡の前の適応期間を誘導する。 我々はこれらのアイデアを融合したトリトンカーネルであるFlash-SemiCRFに統合する。 https://github.com/biobenkj/flash-semicrf.comで入手できる。

関連論文リスト

• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Self-Normalized Inference for Constant-Stepsize Temporal-Difference Learning under Markovian Sampling [9.271408028342496]
  定段階時間差学習(TD)は政策評価に魅力的であるが,1つのマルコフ軌道からの推論は連続的依存と段階的依存的定常目標を考慮しなければならない。 我々は、ランダムなTD行列と定常反復誤差によって誘導される乗法成分を共分散が保持する機能中心極限定理を確立する。 FrozenLakeとGarnetの実験では、静止目標被覆、RR目標補正、地平線インデクシング設計の有限サンプル挙動が示されている。
  論文  参考訳（メタデータ） (2026-08-11T13:19:28Z)
• Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention [0.48342038441006796]
  本稿では,入力が新規である場合にのみスロットを割り当てるスパースキャッシュについて検討する。 固定濃度の静的キャッシュと,最近の新規性率に追従したサプライズ適応変種という2つの形態で開発する。
  論文  参考訳（メタデータ） (2026-07-10T18:28:21Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• Sparse Attention for Dense Open-Vocabulary Prediction in CLIP [54.45759517856271]
  最終視覚的自己注意層における行方向のソフトマックスの推測時間置換について検討した。 entmaxは低得点を正確に0にマッピングするデータ依存しきい値を適用するため、暗黙のデノイザとして機能する。 オープン語彙タスクセンスセマンティックセマンティックセグメンテーション (Pascal VOC, Pascal Context, ADE20K) ときめ細かい検索 (FG-OVD) について検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:30:48Z)
• Tensor Memory: Fixed-Size Recurrent State for Long-Horizon Transformers [20.67103891489219]
  トランスフォーマーは、空間と時間を長いトークンシーケンスに平らにすることで、画像とビデオを処理します。 注意とKVキャッシュは過去の特徴を保存するが、そのメモリはシーケンス長とともに成長し、明示的で永続的な空間状態が欠如している。 本稿では,Transformerブロックを固定サイズのリカレント3Dメモリで拡張する軽量モジュールを提案する。
  論文  参考訳（メタデータ） (2026-05-26T21:03:42Z)
• Sharp Capacity Thresholds in Linear Associative Memory: From Winner-Take-All to Listwise Retrieval [59.859592671274704]
  $dtimes d$ リニアメモリストアはいくつのキー値アソシエーションが可能ですか? この答えは、メモリマトリックスの$d2$自由度だけでなく、検索基準にも依存する。
  論文  参考訳（メタデータ） (2026-05-06T17:53:20Z)
• A Triadic Suffix Tokenization Scheme for Numerical Reasoning [0.0]
  本稿では,3桁を3桁の3桁に分割し,各3桁を明示的な大きさのマーカーで注釈する決定論的スキームであるTST(Tiadic Suffix Tokenization)を紹介する。 TST は接尾辞と整数部分の桁数の間の固定された 1 対 1 の写像を定義する。 1) 既存の語彙に少なくとも10,000の固定トークンを追加し、33桁のマグニチュード(10〜15ドルから1018ドル)をカバーした語彙ベースのアプローチと、(2) 特別なトークンの小さなセットを使って動的に大きさを示す接尾辞マーカアプローチである。
  論文  参考訳（メタデータ） (2026-04-13T14:58:24Z)
• CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
  完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。 CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。 超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
  論文  参考訳（メタデータ） (2026-04-05T20:13:22Z)
• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• \texttt{BayesBreak}: Generalized Hierarchical Bayesian Segmentation with Irregular Designs, Multi-Sample Hierarchies, and Grouped/Latent-Group Designs [0.0]
  厳密な推論は、狭い可能性クラス、単一シーケンス設定、インデックス・ユニフォームの設計と結びついていることが多い。 textttBayesBreakは、単純な分離を中心に構築されたモジュール型のオフラインベイズセグメンテーションフレームワークである。 共役前駆体を持つ重み付き指数家族確率に対しては、ブロック証拠と後部モーメントは累積的十分な統計量から閉形式で利用できる。
  論文  参考訳（メタデータ） (2026-03-16T00:36:16Z)
• Efficient Low Rank Attention for Long-Context Inference in Large Language Models [41.24530756499533]
  低ランククエリとキーアテンション(LRQK)は、プリフィル段階で、完全精度クエリとキー行列をコンパクトなランク-(r)要素に分解するフレームワークである。 トップ(k)トークンと、最近のトークンの小さな固定セットだけを選択することで、LRQKは、完全に精度の低いKVペアだけを転送するヒットアンドミス機構を備えた混合GPU-CPUキャッシュを使用する。
  論文  参考訳（メタデータ） (2025-10-25T11:43:27Z)
• Quick Adaptive Ternary Segmentation: An Efficient Decoding Procedure For Hidden Markov Models [41.99844472131922]
  ノイズ観測から元の信号を復号することは、ほぼすべてのHMMデータ解析における主要な目標の1つである。 QATS, QATS, QATS, QATS, QATS, QATS, QATS, QATS, QATS, QATS, QATS, QATSについて述べる。 QATSの実装はGitHubのRパッケージQATSにある。
  論文  参考訳（メタデータ） (2023-05-29T19:37:48Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Affinity Attention Graph Neural Network for Weakly Supervised Semantic Segmentation [86.44301443789763]
  弱教師付きセマンティックセグメンテーションのための親和性注意グラフニューラルネットワーク(A2$GNN)を提案する。 提案手法は,Pascal VOC 2012データセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-06-08T02:19:21Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。