論文の概要: Iterated Integrals as Lexical Fingerprints: Path Signature Embeddings for Lexical Similarity

• arxiv url: http://arxiv.org/abs/2610.41855v1
• Date: Fri, 30 Oct 2026 15:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.782889
• Title: Iterated Integrals as Lexical Fingerprints: Path Signature Embeddings for Lexical Similarity
• Title（参考訳）: レキシカルフィンガープリントとしての反復積分:レキシカル類似性のためのパスシグナチャ埋め込み
• Abstract要約: 本稿では,Word2Vec トラジェクトリのパスシグネチャを用いた文埋め込みを提案する。 レヴェンシュテイン, ジャロ・ヴィンクラー, 単語ジャカード, 音素レヴェンシュテイン, 文字IDFの5つの語彙列と埋め込み距離を相関する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While sentence embeddings are primarily designed for semantic generalization, their latent geometry implicitly encodes surface-level lexical properties, a relationship that remains poorly understood. Shallow pooling methods discard word order, while deep Transformer models obscure these lexical alignments behind computational complexity and uninterpretable spaces. We propose constructing sentence embeddings via the path signature of Word2Vec trajectories, leveraging the iterated integrals of rough path theory to create representations that explicitly capture sequential and lexical structure in a geometrically tractable manner. Through extensive ablations spanning Word2Vec dimensions, signature depths, and PCA compression, we correlate embedding distances against five lexical string metrics: Levenshtein, Jaro-Winkler, word Jaccard, phoneme Levenshtein, and character TF-IDF. We reveal that while average pooling almost entirely fails to capture character-level edit distances, path signatures strongly align with them, with depth 2 signatures optimally balancing character and word-level sensitivities. Furthermore, we demonstrate that the critical lexical variance is concentrated in a highly compact PCA subspace, and unlike pooling, signatures structurally preserve and quantify word order. These findings establish path signatures not as semantic generalizers, but as rigorous mathematical lenses that explicitly encode discrete lexical structures and word order, offering an interpretable alternative to opaque deep learning for lexical tracking.
• Abstract（参考訳）: 文の埋め込みは主に意味一般化のために設計されているが、その潜在幾何学は表面レベルの語彙特性を暗黙的にエンコードしている。 浅層プール法は単語の順序を捨てるが、深層トランスフォーマーモデルは計算複雑性や解釈不能な空間の背後にあるこれらの語彙的アライメントを曖昧にする。 本稿では,Word2Vecトラジェクトリの経路シグネチャを介し,粗路理論の反復積分を利用して,逐次的および語彙的構造を幾何学的に抽出可能な方法で明示的にキャプチャする表現を生成することを提案する。 Word2Vec次元、シグネチャ深さ、PCA圧縮にまたがる広範囲な改善を通じて、埋め込み距離を、Levenshtein, Jaro-Winkler, word Jaccard, phoneme Levenshtein, character TF-IDFと相関する。 平均プーリングは文字レベルの編集距離をほぼ完全に捕捉できないが,パスシグネチャは文字レベルと単語レベルの感度を最適にバランスする深さ2シグネチャと強く一致していることがわかった。 さらに、臨界語彙の分散は、高コンパクトなPCAサブ空間に集中しており、プールとは異なり、シグネチャは単語の順序を構造的に保存し、定量化する。 これらの発見は、意味的一般化ではなく、個々の語彙構造と単語順序を明示的に符号化する厳密な数学的レンズとしてパスシグネチャを確立し、語彙追跡のための不透明な深層学習に代わる解釈可能な代替手段を提供する。

関連論文リスト

• Contextual trajectory and incremental contextual displacement: Towards using LLMs to understand dynamic, utterance-specific meaning construction [0.061386715480643554]
  Transformer-based large language model (LLMs) は文脈単語埋め込み (CWEs) を用いてテキストを表現する。 我々は、連続した単語が文に追加されるときに、トークンのCWEを繰り返し再計算することで、トークン単位のインクリメンタルな軌跡を構築する。 また,文レベルのCRS表現だけでなく,通常の語彙トークンからも曖昧性関連情報が復元可能であることがわかった。
  論文  参考訳（メタデータ） (2026-09-30T23:56:18Z)
• A Heisenberg Lift Descriptor for Order Sensitive Online Handwriting Recognition [0.8694591156258423]
  オンライン手書き認識システムは、通常、固定長ユークリッド形状記述子によるペンの軌跡を表す。 本稿では,このギャップをコンパクトで解釈可能で,秩序に敏感な拡張を通じて解決するハイゼンベルクリフトフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-25T19:29:10Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• Differential syntactic and semantic encoding in LLMs [49.300174325011426]
  我々は,Large Language Models (LLMs) の内部層表現において,統語的・意味的情報を符号化する方法を検討する。 構文と意味論の層間符号化プロファイルは異なっており,この2つの信号はある程度分離可能であることが判明した。
  論文  参考訳（メタデータ） (2026-01-08T09:33:29Z)
• SMILE: A Composite Lexical-Semantic Metric for Question-Answering Evaluation [55.26111461168754]
  本稿では,文レベルの意味理解とキーワードレベルの意味理解と簡単なキーワードマッチングを組み合わせた新しいアプローチであるSemantic Metric Integrating Lexical Exactnessを紹介する。 人間の判断と計算学的に軽量であり、語彙的評価と意味的評価のギャップを埋める。
  論文  参考訳（メタデータ） (2025-11-21T17:30:18Z)
• Representation Of Lexical Stylistic Features In Language Models' Embedding Space [28.60690854046176]
  これらのスタイリスティックな概念のそれぞれに対して,少数のシードペアのみからベクトル表現を導出できることが示されている。 5つのデータセットで実験を行い、静的な埋め込みがこれらの特徴を単語やフレーズのレベルでより正確にエンコードすることを発見した。 単語レベルでの文脈化表現の低い性能は、ベクトル空間の異方性に起因する。
  論文  参考訳（メタデータ） (2023-05-29T23:44:26Z)
• Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions [7.615096161060399]
  並列コーパスを利用した文脈認識・辞書フリーマッピング手法について検討する。 本研究は, 正規化文脈埋め込み空間における等方性, 等方性, 等方性の間の密接な関係を解明するものである。
  論文  参考訳（メタデータ） (2021-07-19T22:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。