論文の概要: Event2Vec: A Geometric Approach to Learning Composable Representations of Event Sequences
- arxiv url: http://arxiv.org/abs/2509.12188v1
- Date: Mon, 15 Sep 2025 17:51:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:23.439365
- Title: Event2Vec: A Geometric Approach to Learning Composable Representations of Event Sequences
- Title（参考訳）: Event2Vec: イベントシーケンスの構成可能な表現学習のための幾何学的アプローチ
- Authors: Antonin Sulc,
- Abstract要約: 離散イベントシーケンスの表現を学習するための新しいフレームワークであるEvent2Vecを紹介する。
ユークリッド空間におけるモデルの学習表現が理想的な加法構造に収束することを示す理論的解析を提供する。
階層データに対するユークリッド幾何学の限界に対処するため、双曲空間における我々のモデルの変種も導入する。
- 参考スコア（独自算出の注目度）: 0.15229257192293197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The study of neural representations, both in biological and artificial systems, is increasingly revealing the importance of geometric and topological structures. Inspired by this, we introduce Event2Vec, a novel framework for learning representations of discrete event sequences. Our model leverages a simple, additive recurrent structure to learn composable, interpretable embeddings. We provide a theoretical analysis demonstrating that, under specific training objectives, our model's learned representations in a Euclidean space converge to an ideal additive structure. This ensures that the representation of a sequence is the vector sum of its constituent events, a property we term the linear additive hypothesis. To address the limitations of Euclidean geometry for hierarchical data, we also introduce a variant of our model in hyperbolic space, which is naturally suited to embedding tree-like structures with low distortion. We present experiments to validate our hypothesis and demonstrate the benefits of each geometry, highlighting the improved performance of the hyperbolic model on hierarchical event sequences.
- Abstract（参考訳）: 生物学的および人工的なシステムにおける神経表現の研究は、幾何学的および位相的構造の重要性をますます明らかにしている。
そこで我々は,離散イベントシーケンスの表現を学習するための新しいフレームワークであるEvent2Vecを紹介した。
我々のモデルは、単純で付加的な再帰構造を利用して、構成可能で解釈可能な埋め込みを学習する。
我々は、特定の訓練目的の下で、ユークリッド空間におけるモデルの学習された表現が理想的な加法構造に収束することを示す理論的解析を提供する。
これにより、列の表現がその構成事象のベクトル和であることを保証する。
階層的データに対するユークリッド幾何の限界に対処するために、我々は、木のような構造を低歪みで埋め込むのに自然に適する双曲空間において、我々のモデルの変種を導入する。
本稿では,我々の仮説を検証し,各幾何学の利点を実証する実験を行い,階層的な事象列上での双曲モデルの性能向上を強調した。
関連論文リスト
- An Algebraic Representation Theorem for Linear GENEOs in Geometric Machine Learning [1.3425748364842416]
群同変非拡張作用素 (genEOs) は対称性を符号化する強力な作用素のクラスとして登場した。
異なる知覚対の間に作用する線形なgenEOに対する新しい表現定理を導入する。
また、線型genEOsの空間のコンパクト性と凸性も証明する。
論文 参考訳（メタデータ） (2026-01-07T13:21:44Z) - Learning Latent Graph Geometry via Fixed-Point Schrödinger-Type Activation: A Theoretical Study [1.1745324895296467]
我々は、学習された潜在グラフ上の散逸的シュリンガー型ダイナミクスの定常状態として内部表現が進化するニューラルアーキテクチャの統一的理論的枠組みを開発する。
我々は、平衡の存在、一意性、滑らかな依存を証明し、力学がノルム保存ランダウ-リフシッツ流にブロッホ写像の下で等価であることを示す。
結果として得られるモデルクラスは、固定点 Schr"odinger 型のアクティベーションを通して潜在グラフ幾何学を学ぶためのコンパクトで幾何学的に解釈可能で解析的に抽出可能な基礎を提供する。
論文 参考訳（メタデータ） (2025-07-27T00:35:15Z) - TokenBlowUp: Resolving Representational Singularities in LLM Token Spaces via Monoidal Transformations [1.3824176915623292]
最近の研究は、大規模言語モデルのトークン埋め込み空間に対する基礎多様体仮説に挑戦する説得力のある証拠を提供している。
我々はこの問題をスキーム理論の言語で定式化し、スキーム理論のブローアップを各特異点に適用することにより厳密な解法を提案する。
我々は、この新しい空間の幾何学的正則化を保証する公式な定理を証明し、元の病理が解決されたことを示す。
論文 参考訳（メタデータ） (2025-07-26T02:39:54Z) - Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。
ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
論文 参考訳（メタデータ） (2025-06-26T22:40:30Z) - SVarM: Linear Support Varifold Machines for Classification and Regression on Geometric Data [4.212663349859165]
この研究は、形状の変数表現を測度として利用し、テスト関数 $h:mathbbRn times Sn-1 rightarrow mathbbR$ で双対性を求めるために textitSVarM を提案する。
トレーニング可能なテスト関数をニューラルネットワークで表現することで,形状データセットの分類と回帰モデルを構築した。
論文 参考訳（メタデータ） (2025-06-01T21:55:15Z) - Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - On the Origins of Linear Representations in Large Language Models [51.88404605700344]
我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。
実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。
また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
論文 参考訳（メタデータ） (2024-03-06T17:17:36Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Semantically-informed Hierarchical Event Modeling [14.00844847268286]
本稿では,2つの階層的な半教師付きイベントモデリングフレームワークを提案する。
提案手法は,各層が前の層を圧縮・抽象化する,構造化潜在変数の複数の層から構成される。
我々は,従来の最先端アプローチを最大8.5%向上させることができることを実証した。
論文 参考訳（メタデータ） (2022-12-20T18:51:23Z) - A Fully Hyperbolic Neural Model for Hierarchical Multi-Class
Classification [7.8176853587105075]
双曲空間は、記号データの階層的表現を学ぶために数学的に魅力的なアプローチを提供する。
本研究は,双曲空間におけるすべての操作を実行する多クラス多ラベル分類のための完全双曲モデルを提案する。
徹底的な分析では、最終予測における各コンポーネントの影響に光を当て、ユークリッド層との統合の容易さを示している。
論文 参考訳（メタデータ） (2020-10-05T14:42:56Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳（メタデータ） (2020-06-15T08:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。