Fugu-MT 論文翻訳(概要): ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models

論文の概要: ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models

arxiv url: http://arxiv.org/abs/2608.09432v1
Date: Mon, 10 Aug 2026 11:05:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:37.214384
Title: ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models
Title（参考訳）: ZetaGPT: 位置-エンコーディング-自由状態-空間-アテンション言語モデルのリファレンス実装
Abstract要約: この研究は、注意計算の前に位置情報を暗黙的に符号化する言語モデルアーキテクチャを探求する。提案するTextscZetaGPTは,研究,迅速なプロトタイピング,アルゴリズム検証,教育応用のために設計された,コンパクトなハイブリッド言語モデルである。
参考スコア（独自算出の注目度）: 0.304585143845864
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transformer-based language models rely on self-attention, whose computation is permutation-equivariant and therefore lacks an intrinsic mechanism for representing token order. Existing architectures address this limitation by explicitly incorporating positional information through learned positional embeddings or hand-crafted positional encodings, such as rotary positional encoding (RoPE), treating positional information as an architecturally acquired capability rather than an inherent property of the model. Motivated by the pursuit of positional-encoding-free architectures, this work explores a language model architecture that integrates causal state-space equations to implicitly encode positional information before attention computation. Specifically, each model block applies a causal state-space equation before self-attention, allowing recurrent state dynamics to encode sequential information into token representations. Consequently, subsequent attention layers operate on position-aware representations without requiring explicit positional encodings while retaining the expressive modeling capacity of self-attention. We present \textsc{ZetaGPT}, a compact hybrid language model designed for research, rapid prototyping, algorithm verification, and educational applications. In addition to the proposed architecture, \textsc{ZetaGPT} provides a fully open-source, end-to-end training pipeline encompassing dataset construction, tokenizer training, pretraining, supervised fine-tuning, reinforcement learning from human feedback (RLHF), and chain-of-thought (CoT) reasoning via pure reinforcement learning. To the best of our knowledge, \textsc{ZetaGPT} is the first open-source small language model without explicit positional encoding and establishes a compact, reproducible reference implementation for the development and empirical study of positional-encoding-free language models.
Abstract（参考訳）: トランスフォーマーベースの言語モデルは自己アテンションに依存しており、計算は置換同変であり、トークンの順序を表現する固有のメカニズムが欠如している。既存のアーキテクチャでは、学習された位置埋め込みや回転位置符号化(RoPE)などの手作りの位置符号化を通じて位置情報を明示的に組み込むことで、この制限に対処している。位置エンコーディングのないアーキテクチャの追求に動機づけられたこの研究は、因果状態空間方程式を統合して、注意計算の前に位置情報を暗黙的にエンコードする言語モデルアーキテクチャを探求する。具体的には、各モデルブロックは自己アテンションの前に因果状態空間方程式を適用し、逐次状態ダイナミクスはトークン表現にシーケンシャル情報をエンコードすることができる。その結果、後続の注意層は、自己注意の表現的モデリング能力を維持しながら、明示的な位置符号化を必要とせずに位置認識表現を動作させる。本稿では,研究,迅速なプロトタイピング,アルゴリズム検証,教育的応用を目的とした,コンパクトなハイブリッド言語モデルである「textsc{ZetaGPT}」を提案する。提案したアーキテクチャに加えて,データセットの構築,トークンライザのトレーニング,事前トレーニング,教師付き微調整,ヒューマンフィードバックからの強化学習(RLHF),純粋な強化学習によるチェーン・オブ・シント(CoT)推論を含む,完全なオープンソースでエンドツーエンドのトレーニングパイプラインも提供する。我々の知識を最大限に活用するために, \textsc{ZetaGPT}は, 位置符号化のない最初のオープンソース小言語モデルであり, 位置符号化のない言語モデルの開発および実証研究のためのコンパクトかつ再現可能な参照実装を確立する。

関連論文リスト

Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文参考訳（メタデータ） (2026-06-24T15:58:11Z)
The Model Is Not the Product: A Dual-Pillar Architecture for Local-First Psychological Coaching [51.56484100374058]
本報告では,iOS アプリケーションである Psych LM について紹介する。 Psych LMは、動作およびライフコーチングアプリケーション用に設計された、目的に構築された、ローカルファーストのランタイム内で、ローカル、オンデバイス言語モデルを実行する。
論文参考訳（メタデータ） (2026-05-23T05:49:11Z)
Structure from Rank: Rank-Order Coding as a Bridge from Sequence to Structure [42.559054240539915]
本稿では,STG-LIFG-PMC経路にインスパイアされたランク順ベースニューラルネットワークを提案する。まず、このモデルが部分的手がかりから全発話を復元する能力を維持しつつ、効率よく入力を圧縮できることを実証する。次に,このネットワークは,P3Bノベルティ波に似た,世界レベルのノベルティ検出を行うことを示す。
論文参考訳（メタデータ） (2026-03-09T13:41:45Z)
RePo: Language Models with Context Re-Positioning [10.269249887819988]
In-context Learning is fundamental to modern Large Language Models (LLMs) 一般的なアーキテクチャは、線形または定位置の指標を割り当てることで、厳密で固定された文脈構造を課します。本稿では,コンテキスト再配置による余剰負荷を低減する機構であるRePoを提案する。
論文参考訳（メタデータ） (2025-12-16T13:30:30Z)
Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning [29.745218855471787]
トークン化は多くの言語モジュールの現在のアーキテクチャにおいて必要なコンポーネントである。トークン化は、合理的な人間的な言語のパフォーマンスに必要である、と我々は主張する。本稿では,建築的選択,すなわち構成,思考のための言語の優越性について論じる。
論文参考訳（メタデータ） (2024-12-14T18:18:52Z)
CLSP: High-Fidelity Contrastive Language-State Pre-training for Agent State Representation [49.19402798479942]
マルチモーダル学習は人工知能の重要な研究領域になっています知的エージェントにとって、国家は画像、ビデオ、言語といった一般的なモダリティと共に正確な情報を伝達する重要なモダリティである。本稿では,状態情報を汎用表現に正確にエンコードできる高忠実コントラスト言語-状態事前学習法を提案する。
論文参考訳（メタデータ） (2024-09-24T07:08:00Z)
Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
論文参考訳（メタデータ） (2023-05-23T04:28:16Z)
Word Order Matters when you Increase Masking [70.29624135819884]
本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
論文参考訳（メタデータ） (2022-11-08T18:14:04Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
論文参考訳（メタデータ） (2020-06-28T13:11:02Z)
Sequence Model Design for Code Completion in the Modern IDE [3.4824234779710452]
本稿では,すべての有効なキーワードとスコープ内識別子を列挙する静的解析能力と,それらの上に確率分布を配置する言語モデルの能力を組み合わせた,トップk次トークンの予測手法を提案する。我々のモデルは,文字レベルの入力表現とトークン出力を混合し,語彙外トークン(OOV)を有意に表現し,予測遅延を最小化する。
論文参考訳（メタデータ） (2020-04-10T22:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。