論文の概要: Labeled Incidence Structures for Native Transformer Modeling of Text, Knowledge Graphs, and Hypergraphs

• arxiv url: http://arxiv.org/abs/2609.20278v2
• Date: Mon, 21 Sep 2026 23:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.652547
• Title: Labeled Incidence Structures for Native Transformer Modeling of Text, Knowledge Graphs, and Hypergraphs
• Title（参考訳）: テキスト, 知識グラフ, ハイパーグラフのネイティブトランスフォーマーモデリングのためのラベル付きインシデンス構造
• Abstract要約: カレントトランスフォーマーは1つ以上の整数座標でインデックストークンをインターフェースし、アテンション内のアドレスを決定する。 ラベル付きインシデント構造(LIS)を導入し、それぞれのトークンまたは値がコンテンツ$x$と構造インデックス$i$のエンドポイントとなる。 このモデルは、このインデックスを構造アドレス$A(i)$にマッピングするため、新しいトークン、ファクト、テキストユニット、またはリポジトリアイテムを追加することは、構造的およびコンテンツ座標に同じ学習されたアドレスルールを適用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current Transformer interfaces index tokens by one or more integer coordinates, which determine their addresses inside attention. In RoPE and its multi-axis or hierarchical variants, the resulting address has the form $A(i)=R_1^{i_1}R_2^{i_2}R_3^{i_3}$, where the exponents are integer coordinates assigned after choosing a serialized token layout. When Transformers process new or large collections of data, this addressing scheme can produce unseen offsets or coordinate combinations, push repositories toward retrieve-and-serialize pipelines, and force new entities, records, or repository items to be represented by long token strings or identifier embeddings not seen in training. We introduce labeled incidence structures (LIS), in which each participating token or value is an endpoint with content $x$ and a structural index $i$. The index can include local position, relation role, relation instance, text unit, field, or content-derived identity. The model maps this index to a structural address $A(i)$, so adding new tokens, facts, text units, or repository items applies the same learned address rule to structural and content coordinates rather than requiring larger integer coordinates, unseen coordinate combinations, or new identifier embeddings. Attention scores endpoints $i,j$ using $q_i^\top P_{j\to i}k_j$, where journey consistency forces $P_{j\to i}=A(i)^{-1}A(j)$. When $i$ has several coordinates, such as position, role, and instance, coordinate independence is equivalent to factoring $A(i)$ into one address factor per coordinate. This recovers RoPE, RoPE-2D, and HiRoPE as special cases. This allows knowledge-graph (KG) roles, fact instances, and text units to enter the attention score directly. In controlled shallow diagnostics, the LIS address interface is implemented inside ordinary Transformer attention and yields promising results across text, KG, and $n$-ary settings.
• Abstract（参考訳）: カレントトランスフォーマーは1つ以上の整数座標でインデックストークンをインターフェースし、アテンション内のアドレスを決定する。 RoPEとその多軸または階層的変種において、結果として得られるアドレスは$Aである。 (i)=R_1^{i_1}R_2^{i_2}R_3^{i_3}$。 Transformersが新しいあるいは大規模なデータのコレクションを処理する場合、このアドレッシングスキームは、目に見えないオフセットやコーディネートの組み合わせを生成し、リポジトリを検索およびシリアライズパイプラインにプッシュし、トレーニングで見えない長いトークン文字列や識別子埋め込みで表現される新しいエンティティ、レコード、リポジトリアイテムを強制する。 ラベル付きインシデント構造(LIS)を導入し、それぞれのトークンまたは値がコンテンツ$x$と構造インデックス$i$のエンドポイントとなる。 インデックスには、ローカル位置、リレーションロール、リレーションインスタンス、テキストユニット、フィールド、コンテンツから派生したアイデンティティが含まれる。 モデルは、このインデックスを構造アドレス $A にマッピングします。 i)$ なので、新しいトークン、ファクト、テキストユニット、またはリポジトリアイテムを追加することは、より大きな整数座標、見えない座標の組み合わせ、新しい識別子の埋め込みを必要とするのではなく、構造的およびコンテンツ座標に同じ学習されたアドレスルールを適用します。 attention scores endpoints $i,j$ using $q_i^\top P_{j\to i}k_j$, where journey consistency force $P_{j\to i}=A (i)^{-1}A (j)$。 i$が位置、役割、インスタンスなどいくつかの座標を持つ場合、座標独立は$Aを分解するのと同値である i) 座標ごとに1つのアドレス係数に$ これにより、特殊ケースとしてRoPE、RoPE-2D、HiRoPEが回復する。 これにより、ナレッジグラフ(KG)ロール、ファクトインスタンス、テキストユニットがアテンションスコアを直接入力できる。 制御された浅層診断では、LISアドレスインタフェースは通常のTransformerアテンション内に実装され、テキスト、KG、および$n$-ary設定で有望な結果が得られる。

関連論文リスト

• Content-Based Addressing for Long Context [0.0]
  RoPE(Rotary position embedded)は、各トークンの整数位置を用いて、注意の中に適用される回転を決定する。 これは、ローカルトークンの順序でうまく機能するが、コンテキスト長の増大は、位置的トレインテストのミスマッチを生成する。 代わりにトークンストリームを単位に分割し、通常のRoPE位置を各単位内に保持し、そのコンテンツから計算されたアドレスを全ての完了単位に割り当てます。
  論文  参考訳（メタデータ） (2026-09-07T10:33:44Z)
• Every Component is a Lookup: Token Attribution and Composition from a Single Decomposition [1.3290717106567922]
  We exploit a shared key-value template $(S)U$ to developing Unpack, a backward recursion that decomposes credit through both sublayers。 GPT-2では、Wang et al. (2023) によって記述された3つの合成接続をすべて復元し、各接続のモード固有のルーティングを含む。 160Mから6.9Bまでのピキア族全体において、この抑制パターンはあらゆるスケールで一貫して回復される。
  論文  参考訳（メタデータ） (2026-05-22T09:03:01Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• PosFormer: Recognizing Complex Handwritten Mathematical Expression with Position Forest Transformer [51.260384040953326]
  手書き数学的表現認識(HMER)は、人間と機械の相互作用シナリオに広く応用されている。 本稿では,HMERのための位置フォレスト変換器(PosFormer)を提案する。 PosFormerは、最先端のメソッドである2.03%/1.22%/2、1.83%、および4.62%を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-07-10T15:42:58Z)
• Geotokens and Geotransformers [0.0]
  本稿では, 変圧器の入力成分であるジオトケンについて述べる。 典型的な言語列とは異なり、これらのトークンの場合、順序は地理的座標そのものほど重要ではない。
  論文  参考訳（メタデータ） (2024-03-23T22:02:56Z)
• Group Pose: A Simple Baseline for End-to-End Multi-person Pose Estimation [102.02917299051757]
  グループ・ポース(Group Pose)と呼ばれる単純だが効果的なトランスフォーマー・アプローチを提案する。 すべての$Ntimes(K+1)$クエリに対して単一の自己アテンションを、その後の2つのグループ自己アテンションに置き換える。 MS COCO と CrowdPose の実験結果から,従来の手法よりもヒトボックスの監督を伴わないアプローチの方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-14T17:58:04Z)
• $R^{2}$Former: Unified $R$etrieval and $R$eranking Transformer for Place Recognition [92.56937383283397]
  検索と再ランクの両方を扱う統合された場所認識フレームワークを提案する。 提案モジュールは特徴相関,注目値,xy座標を考慮に入れている。 R2$Formerは、主要なVPRデータセットの最先端メソッドを著しく上回る。
  論文  参考訳（メタデータ） (2023-04-06T23:19:32Z)
• CoordGAN: Self-Supervised Dense Correspondences Emerge from GANs [129.51129173514502]
  本稿では,各生成画像の高密度対応マップを学習する構造テクスチャ不整合GANであるCoordinate GAN(CoordGAN)を紹介する。 提案するジェネレータは,既存手法に比べて構造とテクスチャの絡み合いが良くなることを示す。
  論文  参考訳（メタデータ） (2022-03-30T17:55:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。