論文の概要: Text Has Curvature
- arxiv url: http://arxiv.org/abs/2602.13418v1
- Date: Fri, 13 Feb 2026 19:39:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 14:17:28.025435
- Title: Text Has Curvature
- Title(参考訳): テキストに曲率がある
- Authors: Karish Grover, Hanqing Zeng, Yinglong Xia, Christos Faloutsos, Geoffrey J. Gordon,
- Abstract要約: テキストは実際に曲率を持ち、それを検出し、定義し、使用する方法を示します。
この目的のために,テキストネイティブな単語レベルの離散曲率信号であるTextureを提案する。
- 参考スコア(独自算出の注目度): 26.812017481528812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Does text have an intrinsic curvature? Language is increasingly modeled in curved geometries - hyperbolic spaces for hierarchy, mixed-curvature manifolds for compositional structure - yet a basic scientific question remains unresolved: what does curvature mean for text itself, in a way that is native to language rather than an artifact of the embedding space we choose? We argue that text does indeed have curvature, and show how to detect it, define it, and use it. To this end, we propose Texture, a text-native, word-level discrete curvature signal, and make three contributions. (a) Existence: We provide empirical and theoretical certificates that semantic inference in natural corpora is non-flat, i.e. language has inherent curvature. (b) Definition: We define Texture by reconciling left- and right-context beliefs around a masked word through a Schrodinger bridge, yielding a curvature field that is positive where context focuses meaning and negative where it fans out into competing continuations. (c) Utility: Texture is actionable: it serves as a general-purpose measurement and control primitive enabling geometry without geometric training; we instantiate it on two representative tasks, improving long-context inference through curvature-guided compression and retrieval-augmented generation through curvature-guided routing. Together, our results establish a text-native curvature paradigm, making curvature measurable and practically useful.
- Abstract(参考訳): テキストには本質的な曲率がありますか。
言語はますます湾曲した幾何学でモデル化されている - 階層性のための双曲空間、構成構造のための混合曲率多様体 ―― しかし、基本的な科学的疑問は未解決のままである。
テキストは実際に曲率を持ち、それを検出し、定義し、使用する方法を示します。
この目的のために、テキストネイティブで単語レベルの離散曲率信号であるTextureを提案し、3つのコントリビューションを行う。
(a) 存在: 自然コーパスにおける意味推論が非平坦であること、すなわち言語が固有の曲率を持つことを示す経験的および理論的証明を提供する。
b) 定義: テクスチャは, マスクされた単語の前後の信念をシュロディンガー橋(Schrodinger Bridge)を通して整合させることにより定義する。
(c) 実用性: テクスチャは動作可能: 幾何訓練なしで幾何を可能にする汎用的な測定および制御プリミティブとして機能し、2つの代表的なタスクをインスタンス化し、曲率誘導圧縮による長文推論と、曲率誘導ルーティングによる検索拡張生成を改善する。
そこで本研究では,テキストネイティブな曲率パラダイムを構築し,曲率を計測し,実用的に有用であることを示す。
関連論文リスト
- GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。
本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
論文 参考訳(メタデータ) (2025-11-12T06:48:43Z) - The Curved Spacetime of Transformer Architectures [0.3670422696827525]
本稿では,トランスフォーマーに基づく言語モデルを理解するための幾何学的枠組みを提案する。
トークン埋め込みは特徴空間の直線経路を横切るべきではないことを示し、代わりに、それらの層回りのステップは、空間曲率の埋め込みによって媒介される相互作用として屈曲し、順応するべきである。
論文 参考訳(メタデータ) (2025-11-04T22:58:40Z) - Curved Inference: Concern-Sensitive Geometry in Large Language Model Residual Streams [0.0]
本稿では,大言語モデルの残差ストリーム軌跡が意味的関心事の変化に応じてどのように曲げられるかを追跡する幾何学的解釈可能性フレームワークを提案する。
Gemma3-1bとLLaMA3.2-3bを5つのネイティブ空間メトリクスを用いて解析し、曲率(kappa_i)とサリエンス(S(t))に着目した。
いずれのモデルにおいても,アクティベーショントラジェクトリが確実に変更されることが示唆された。
論文 参考訳(メタデータ) (2025-07-08T23:05:00Z) - Edge Approximation Text Detector [15.968342484512325]
テキストの輪郭をコンパクトに適合させるためにEdgeTextを導入し、過剰な輪郭再構築プロセスを緩和する。
この観測にインスパイアされたEdgeTextは、パラメータ化された曲線フィッティング関数を介してエッジ近似問題としてテキスト表現を定式化する。
EdgeTextがテキストエッジに深く依存していることを考えると、双方向拡張知覚(BEP)モジュールが設計されている。
論文 参考訳(メタデータ) (2025-04-05T00:12:51Z) - RealCustom: Narrowing Real Text Word for Real-Time Open-Domain
Text-to-Image Customization [57.86083349873154]
テキスト・ツー・イメージのカスタマイズは、与えられた被験者に対してテキスト駆動の画像を合成することを目的としている。
既存の作品は擬似語パラダイム、すなわち、与えられた主題を擬似語として表現し、与えられたテキストで合成する。
我々は、RealCustomを初めて、被写体の影響を関連部分のみに正確に制限することで、制御性から類似性を解き放つことを提示する。
論文 参考訳(メタデータ) (2024-03-01T12:12:09Z) - Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning [70.0681902472251]
双曲空間における高品質グラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。
具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。
双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
論文 参考訳(メタデータ) (2023-10-27T15:31:42Z) - Ollivier-Ricci Curvature for Hypergraphs: A Unified Framework [15.447966950703952]
我々はOllivier-Ricci曲率をハイパーグラフに一般化するフレキシブルなフレームワークORCHIDを開発した。
ORCHID曲線は拡張性があり,様々なハイパーグラフ処理を行うのに有用であることを示す。
論文 参考訳(メタデータ) (2022-10-21T15:40:49Z) - A Self-supervised Riemannian GNN with Time Varying Curvature for
Temporal Graph Learning [79.20249985327007]
自己教師型リーマングラフニューラルネットワーク(SelfRGNN)を提案する。
具体的には、理論的に基底化された時間符号化を持つ曲率変化GNNを設計し、時間とともに関数的曲率を定式化し、正、零、負の曲率空間間の進化シフトをモデル化する。
大規模な実験は、自己RGNNの優越性を示し、また、ケーススタディでは、リアルタイムグラフの時変曲率を示している。
論文 参考訳(メタデータ) (2022-08-30T08:43:06Z) - Differential Geometry of Contextuality [0.0]
文脈性は、長い間トポロジカルな性質と関連付けられてきた。
我々は、ベクトル空間のベクトルとして状態、効果、変換の通常の識別を使い、それらを接空間にエンコードする。
文脈性を符号化する2つの視点が量子論の解釈とどのように関連しているかを論じる。
論文 参考訳(メタデータ) (2022-02-17T15:49:38Z) - Improving Disentangled Text Representation Learning with
Information-Theoretic Guidance [99.68851329919858]
自然言語の独特な性質は、テキスト表現の分離をより困難にする。
情報理論にインスパイアされた本研究では,テキストの不整合表現を効果的に表現する手法を提案する。
条件付きテキスト生成とテキストスタイル転送の両方の実験は、不整合表現の質を実証する。
論文 参考訳(メタデータ) (2020-06-01T03:36:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。