論文の概要: SOHET: Sequence Of Heterogeneous Events Transformer with Self-Supervised Pre-Training

• arxiv url: http://arxiv.org/abs/2606.21356v1
• Date: Fri, 19 Jun 2026 11:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 14:07:38.621094
• Title: SOHET: Sequence Of Heterogeneous Events Transformer with Self-Supervised Pre-Training
• Title（参考訳）: SOHET: 自己監督型事前トレーニングによる異種イベント変換器のシーケンス
• Authors: Kees Jan de Vries, Mustafa Radha, Mathijs de Jong,
• Abstract要約: イベントタイプ固有のエンコーダと時間的および型的埋め込みを組み合わせた階層型アーキテクチャであるSOHET(Sequence of Heterogeneous Events Transformer)を提案する。 プロプライエタリな現実世界のBooking.com不正検出タスクでは、SOHETはFlexTPP、NAPPT、CIPPTを5.8%上回っている。 EBESベンチマークでは、双方向SOHETは8つのタスクのうち6つで発行された最良値と一致または超えている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many machine learning applications rely on heterogeneous event streams to make predictions, either causally as events arrive or bidirectionally over complete sequences. We propose SOHET (Sequence Of Heterogeneous Events Transformer), a hierarchical architecture combining event-type-specific tabular encoders with temporal and type embeddings, processed by a causal or bidirectional transformer. We introduce three self-supervised pre-training objectives for the causal setting. On a proprietary large-scale real-world Booking.com fraud detection task with 17 event types, SOHET outperforms FlexTPP, NAPPT, and CIPPT by 5.8%. Pre-training yields an additional 2.6% gain and 2.4% faster convergence. On the EBES benchmark, bidirectional SOHET matches or exceeds the published best on 6 out of 8 tasks.
• Abstract（参考訳）: 多くの機械学習アプリケーションは、イベントが到着するときに慎重に、あるいは完全なシーケンス上で双方向に予測するために、異種イベントストリームに依存している。 イベントタイプ固有の表型エンコーダと時間的および型的埋め込みを組み合わせた階層型アーキテクチャであるSOHET(Sequence of Heterogeneous Events Transformer)を提案する。 因果的設定のための自己指導型事前学習の3つの目標について紹介する。 17種類のイベントを持つプロプライエタリな現実世界のBooking.com不正検出タスクでは、SOHETはFlexTPP、NAPPT、CIPPTを5.8%上回っている。 事前訓練では2.6%増の2.4%増の2.4%増となる。 EBESベンチマークでは、双方向SOHETは8つのタスクのうち6つで発行された最良値と一致または超えている。

関連論文リスト

• TunerDiT: Training-free Progressive Steering of Diffusion Transformer for Multi-Event Video Generation [61.04423890085284]
  マルチイベント生成のための追加トレーニングを必要としないプログレッシブステアリング手法TunerDiTを提案する。 TunerDiTは8つのメトリクスにわたる最先端のパフォーマンスを実現し、ビデオの一貫性とイベント分離の間の調整可能なトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-05-29T17:56:09Z)
• HEPA: A Self-Supervised Horizon-Conditioned Event Predictive Architecture for Time Series [1.592463731034439]
  HEPA(Horizon-conditioned Event Predictive Architecture)は2つの重要な原則に基づいて構築されている。 因果トランスフォーマーエンコーダはJEPA(Joint-Embedding Predictive Architecture)を介して事前訓練される 我々はエンコーダを凍結し、予測器のみを目標事象に向けて微調整し、地平線上の単調生存累積分布関数(CDF)を生成する。
  論文  参考訳（メタデータ） (2026-05-11T18:38:03Z)
• MagicAgent: Towards Generalized Agent Planning [73.21129030631421]
  汎用エージェント計画に特化して設計された基盤モデルである textbfMagicAgent について述べる。 多様な計画タスクにまたがる高品質なトラジェクトリを生成する軽量でスケーラブルな合成データフレームワークを提案する。 MagicAgent-32B と MagicAgent-30B-A3B は様々なオープンソースベンチマークにおいて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2026-02-22T01:39:16Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• LAPA: Log-Domain Prediction-Driven Dynamic Sparsity Accelerator for Transformer Model [14.53308613746613]
  本稿では,LAPAという対数領域の注意予測アルゴリズム-アーキテクチャ共設計を提案する。 その結果, LAPAのエネルギー効率は, Spatten, Sanger, FACTの3.52倍, 3.24倍, 2.79倍に向上した。
  論文  参考訳（メタデータ） (2025-11-26T07:24:48Z)
• Auto-ML Graph Neural Network Hypermodels for Outcome Prediction in Event-Sequence Data [2.879694041689511]
  HGNN(O)は、イベントシーケンスデータに対する結果予測のためのAutoML GNNハイパーモデルフレームワークである。 我々は,HGNN(O)がTraffic Finesデータセットで0.98以上の精度を達成し,重み付きF1スコアが患者データセットで最大0.86に達することを示す。
  論文  参考訳（メタデータ） (2025-11-24T07:13:34Z)
• BERT4beam: Large AI Model Enabled Generalized Beamforming Optimization [77.17508487745026]
  本稿では,ビームフォーミング最適化のための大規模AIモデルについて検討する。 本稿では、BERT4エンコーダと呼ばれる変換器(BERT)からの双方向エンコーダ表現に基づく新しいフレームワークを提案する。 本フレームワークをベースとして,単一タスクとマルチタスクのビームフォーミング最適化のためのBERTベースの2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-09-14T02:49:29Z)
• Stochastic Primal-Dual Double Block-Coordinate for Two-way Partial AUC Maximization [45.99743804547533]
  2方向部分AUCAUCは、不均衡なデータを持つバイナリ分類における重要な性能指標である。 TPAUC最適化のための既存のアルゴリズムは未探索のままである。 TPAUC最適化のための2つの革新的な二重座標ブロック座標アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-05-28T03:55:05Z)
• PFformer: A Position-Free Transformer Variant for Extreme-Adaptive Multivariate Time Series Forecasting [9.511600544581425]
  PFformerは、単一ターゲットのMSS予測用に設計された、位置のないトランスフォーマーベースのモデルである。 PFformerは、EFE(Enhanced Feature-based Embedding)とAEE(Auto-Encoder-based Embedding)の2つの新しい埋め込み戦略を統合している。
  論文  参考訳（メタデータ） (2025-02-27T22:21:27Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。