論文の概要: $φ^{\infty}$: Clause Purification, Embedding Realignment, and the Total Suppression of the Em Dash in Autoregressive Language Models

• arxiv url: http://arxiv.org/abs/2506.18129v1
• Date: Sun, 22 Jun 2025 18:27:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.765888
• Title: $φ^{\infty}$: Clause Purification, Embedding Realignment, and the Total Suppression of the Em Dash in Autoregressive Language Models
• Title（参考訳）: 自己回帰型言語モデルにおけるEm Dashのクローズ・パーフィケーション, 埋め込み化, および全抑制
• Authors: Bugra Kilictas, Faruk Alpay,
• Abstract要約: 自動回帰変換言語モデルにおいて,エムダッシュトークンがセマンティックドリフトを引き起こす重大な脆弱性を同定する。 本稿では,フィインフィニティ演算子とターゲット埋め込み行列を併用した記号節の浄化法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We identify a critical vulnerability in autoregressive transformer language models where the em dash token induces recursive semantic drift, leading to clause boundary hallucination and embedding space entanglement. Through formal analysis of token-level perturbations in semantic lattices, we demonstrate that em dash insertion fundamentally alters the model's latent representations, causing compounding errors in long-form generation. We propose a novel solution combining symbolic clause purification via the phi-infinity operator with targeted embedding matrix realignment. Our approach enables total suppression of problematic tokens without requiring model retraining, while preserving semantic coherence through fixed-point convergence guarantees. Experimental validation shows significant improvements in generation consistency and topic maintenance. This work establishes a general framework for identifying and mitigating token-level vulnerabilities in foundation models, with immediate implications for AI safety, model alignment, and robust deployment of large language models in production environments. The methodology extends beyond punctuation to address broader classes of recursive instabilities in neural text generation systems.
• Abstract（参考訳）: 我々は,エムダッシュトークンが帰納的セマンティックドリフトを誘導し,節境界幻覚と埋め込み空間の絡み合いを引き起こす自己回帰変換言語モデルにおいて重要な脆弱性を同定する。 意味格子におけるトークンレベルの摂動の形式的解析を通じて、エムダッシュ挿入がモデルの潜在表現を根本的に変化させ、長文生成において複合的なエラーを引き起こすことを示した。 本稿では, フィインフィニティ演算子による記号節の清浄と, 組込み行列の配向を併用した新しい解を提案する。 提案手法は,固定点収束保証による意味的コヒーレンスを保ちながら,モデル再訓練を必要とせず,問題トークンの完全抑制を可能にする。 実験による検証では、生成一貫性とトピックメンテナンスが大幅に改善された。 この研究は、AI安全性、モデルアライメント、運用環境における大規模言語モデルの堅牢なデプロイといった、ファンデーションモデルにおけるトークンレベルの脆弱性を特定し緩和するための一般的なフレームワークを確立する。 この手法は句読点を超えて、ニューラルテキスト生成システムにおけるより広範な再帰的不安定性に対処する。

関連論文リスト

• FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [51.32059240975148]
  FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。 各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。 FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
  論文  参考訳（メタデータ） (2025-02-16T13:54:32Z)
• Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement [0.0]
  ラテントレキシカル射影 (LLP) は、構造化された空間からラテント空間への変換を通じて、レキシカル表現を洗練するために導入された。 LLPは既存の言語モデルアーキテクチャに最適化されたプロジェクション機構を統合する。 評価は、パープレキシティの低下とBLEUスコアの上昇を示し、予測精度と流布率の改善を示唆している。
  論文  参考訳（メタデータ） (2025-02-03T23:18:53Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
  セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。 我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。 我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
  論文  参考訳（メタデータ） (2023-08-01T10:02:26Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。