論文の概要: Fractal Language Modelling by Universal Sequence Maps (USM)

• arxiv url: http://arxiv.org/abs/2508.06641v1
• Date: Fri, 08 Aug 2025 18:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.486333
• Title: Fractal Language Modelling by Universal Sequence Maps (USM)
• Title（参考訳）: ユニバーサルシーケンスマップ(USM)によるフラクタル言語モデリング
• Authors: Jonas S Almeida, Daniel E Russ, Susana Vinga, Ines Duarte, Lee Mason, Praphulla Bhawsar, Aaron Ge, Arlindo Oliveira, Jeya Balaji Balasubramanian,
• Abstract要約: ユニバーサルシーケンスマップ(Universal Sequence Map、USM)は、記号列を埋め込み数値空間にエンコードする反復関数である。 本報告では, 反復過程に影響を及ぼす発芽バイアスを解消することにより, ユニバーサルシーケンスマップ(USM)によるフラクタル符号化を推し進める。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivation: With the advent of Language Models using Transformers, popularized by ChatGPT, there is a renewed interest in exploring encoding procedures that numerically represent symbolic sequences at multiple scales and embedding dimensions. The challenge that encoding addresses is the need for mechanisms that uniquely retain contextual information about the succession of individual symbols, which can then be modeled by nonlinear formulations such as neural networks. Context: Universal Sequence Maps(USM) are iterated functions that bijectively encode symbolic sequences onto embedded numerical spaces. USM is composed of two Chaos Game Representations (CGR), iterated forwardly and backwardly, that can be projected into the frequency domain (FCGR). The corresponding USM coordinates can be used to compute a Chebyshev distance metric as well as k-mer frequencies, without having to recompute the embedded numeric coordinates, and, paradoxically, allowing for non-integers values of k. Results: This report advances the bijective fractal encoding by Universal Sequence Maps (USM) by resolving seeding biases affecting the iterated process. The resolution had two results, the first expected, the second an intriguing outcome: 1) full reconciliation of numeric positioning with sequence identity; and 2) uncovering the nature of USM as an efficient numeric process converging towards a steady state sequence embedding solution. We illustrate these results for genomic sequences because of the convenience of a planar representation defined by an alphabet with only 4 tokens (the 4 nucleotides). Nevertheless, the application to alphabet of arbitrary cardinality was found to be straightforward.
• Abstract（参考訳）: モチベーション:ChatGPTが普及したトランスフォーマーを用いた言語モデルの出現に伴い、複数のスケールの記号列と埋め込み次元を数値的に表現するエンコーディング手順の探求に新たな関心が高まっている。 アドレスを符号化することの課題は、個々のシンボルの継承に関するコンテキスト情報を一意に保持するメカニズムの必要性であり、ニューラルネットワークのような非線形な定式化によってモデル化できる。 コンテキスト: ユニバーサルシーケンスマップ(USM)は、記号列を埋め込んだ数値空間に客観的に符号化する反復関数である。 USMは2つのChaos Game Representations (CGR)で構成され、前向きと後向きに反復され、周波数領域(FCGR)に投影される。 対応するUSM座標は、埋め込み数値座標を再計算することなく、チェビシェフ距離距離とk-mer周波数の計算に使用することができ、またパラドックス的に、kの非整数値が可能である。 結果: 本報告では, 反復過程に影響を及ぼすシードバイアスを解消することにより, ユニバーサルシーケンスマップ(USM)による客観的フラクタル符号化を推し進める。 解決には2つの結果があり、第1に期待され、第2に興味深い結果が得られた。 1) 順序の同一性による数値位置の完全整合 2) 定常状態列埋め込み解に収束する効率的な数値過程としてのUSMの性質を明らかにする。 これらの結果は、4個のトークン(4個のヌクレオチド)しか持たないアルファベットで定義された平面表現の利便性のため、ゲノム配列に対して説明される。 それにもかかわらず、任意の濃度のアルファベットへの適用は単純であることが判明した。

関連論文リスト

• PosFormer: Recognizing Complex Handwritten Mathematical Expression with Position Forest Transformer [51.260384040953326]
  手書き数学的表現認識(HMER)は、人間と機械の相互作用シナリオに広く応用されている。 本稿では,HMERのための位置フォレスト変換器(PosFormer)を提案する。 PosFormerは、最先端のメソッドである2.03%/1.22%/2、1.83%、および4.62%を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-07-10T15:42:58Z)
• GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding [52.14832976759585]
  文法的誤り訂正(GEC)は、通常自己回帰的なシーケンス・ツー・シーケンスモデルで解決される重要なNLPタスクである。 本稿では, アーキテクチャを置換ネットワークに分離する, GEC に対する非自己回帰的アプローチを提案する。 GECの既知の非自己回帰手法よりもネットワークが向上することを示す。
  論文  参考訳（メタデータ） (2023-11-14T14:24:36Z)
• Understanding the Natural Language of DNA using Encoder-Decoder Foundation Models with Byte-level Precision [26.107996342704915]
  本稿では,Ensemble Nucleotide Byte-level-Decoder(ENBED)基盤モデルを提案する。 我々はMasked Language Modelingを用いて、参照ゲノム配列を用いて基礎モデルを事前訓練し、以下の下流タスクに適用する。 これらの課題のそれぞれにおいて、既存の最先端の成果と比較して顕著な改善が示される。
  論文  参考訳（メタデータ） (2023-11-04T06:00:56Z)
• Quick Adaptive Ternary Segmentation: An Efficient Decoding Procedure For Hidden Markov Models [70.26374282390401]
  ノイズの多い観測から元の信号(すなわち隠れ鎖)を復号することは、ほぼすべてのHMMに基づくデータ分析の主要な目標の1つである。 本稿では,多対数計算複雑性において隠れた列を復号化するための分法であるQuick Adaptive Ternary(QATS)を提案する。
  論文  参考訳（メタデータ） (2023-05-29T19:37:48Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• A Non-monotonic Self-terminating Language Model [62.93465126911921]
  本稿では,不完全復号アルゴリズムによる非終端列の問題に焦点をあてる。 まず、グリーディ探索、トップ$kのサンプリング、核サンプリングを含む不完全確率復号アルゴリズムを定義する。 次に,単調な終端確率の制約を緩和する非単調な自己終端言語モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-03T00:28:44Z)
• When Counting Meets HMER: Counting-Aware Network for Handwritten Mathematical Expression Recognition [57.51793420986745]
  我々は、手書き数式認識(HMER)のための非従来型ネットワークであるCounting-Aware Network(CAN)を提案する。 シンボルレベルの位置アノテーションを使わずに各シンボルクラスの数を予測できる弱教師付きカウントモジュールを設計する。 HMERのベンチマークデータセットの実験により、エンコーダ・デコーダモデルの予測誤差を修正するために、共同最適化とカウント結果の両方が有用であることが検証された。
  論文  参考訳（メタデータ） (2022-07-23T08:39:32Z)
• Consistent Multiple Sequence Decoding [36.46573114422263]
  一貫性のある多重シーケンスデコーディングアーキテクチャを導入する。 このアーキテクチャは任意の数のシーケンスを一貫した同時復号化を可能にする。 重回帰画像キャプションにおける一貫した多重シーケンスデコーダの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-02T00:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。