論文の概要: Causal Edit Serialization

• arxiv url: http://arxiv.org/abs/2610.22820v1
• Date: Fri, 16 Oct 2026 01:55:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.730176
• Title: Causal Edit Serialization
• Title（参考訳）: 因果編集シリアライゼーション
• Abstract要約: Causal Edit Serialization (CES)は、同じ因果トークンストリーム内でこのようなリビジョンを表現するためのフレームワークである。 CESは、生成およびローカライズされたリビジョンのための共通のインターフェースを提供し、反復的リファインメントと追加のポインタ適応変換への潜在的な拡張を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard autoregressive language models generate text sequentially, but revision requires referring back to tokens in the input context or those already generated. Causal Edit Serialization (CES) is introduced as a framework for expressing such revisions within the same causal token stream. Special pointer tokens are paired with predicted source addresses, allowing insertion, deletion, replacement, copying and movement to be localized explicitly. A lightweight localization head and dual-index rotary position encoding support both address prediction and conditioning on previously emitted pointers, while retaining a standard causal attention mask. A pretraining procedure combines ordinary language modeling with serialized repairs derived from random corruptions, model-generated edits and repeated text. Across model scales and editing baselines, CES models demonstrate complete applied edits with modestly higher clean-text bits per byte than clean autoregressive models. Supervised and reinforcement-learning post-training provide a grammatical-error-correction proof of concept, producing more beneficial than harmful changes under reference-blind model judging. Correct repair programs also improve subsequent text prediction while the original context and its cached states are retained. CES provides a common interface for generation and localized revision, with potential extensions to iterative refinement and additional pointer-addressed transformations.
• Abstract（参考訳）: 標準的な自己回帰言語モデルはテキストを逐次生成するが、リビジョンでは入力コンテキストのトークンや既に生成されたトークンを参照する必要がある。 因果トークンストリーム内でこのようなリビジョンを表現するためのフレームワークとして、Causal Edit Serialization (CES)が導入されている。 特別なポインタトークンは予測されたソースアドレスと組み合わせられ、挿入、削除、置換、コピー、ムーブメントを明示的にローカライズすることができる。 軽量なローカライゼーションヘッドとデュアルインデックス回転位置符号化は、標準的な因果注意マスクを保持しながら、予め出力されたポインタのアドレス予測と条件付けの両方をサポートする。 事前訓練手順は、通常の言語モデリングと、ランダムな汚職、モデル生成編集、繰り返しテキストから派生したシリアライズされた修復を組み合わせる。 モデルスケールとベースラインの全体にわたって、CESモデルでは、クリーンな自動回帰モデルよりも、バイト単位のクリーンテキストビットで完全に適用された編集をデモしている。 教師付き強化学習後学習は文法的誤り訂正概念の証明を提供し、基準盲検モデル判定の下で有害な変化よりも有益である。 修正プログラムは、元のコンテキストとそのキャッシュされた状態が保持されている間、その後のテキスト予測を改善する。 CESは、生成およびローカライズされたリビジョンのための共通のインターフェースを提供し、反復的リファインメントと追加のポインタ適応変換への潜在的な拡張を提供する。

関連論文リスト

• AutoIndexer: Flexible-Order Decoding by Training Causal Models on Chains of Edits [12.224677324187871]
  AutoIndexerは、編集の連鎖をシミュレートする新しいトレーニングとデコード機構を備えた生成モデルである。 トレーニングシーケンスは、逆連鎖編集操作で接地木ラベルを摂動することで得られる。 提案手法は,ほとんどの自己回帰モデルと拡散モデルが欠落している,次世代の文脈編集機能を示す。
  論文  参考訳（メタデータ） (2026-10-08T17:59:52Z)
• Reviser: Revision-Capable Text Generation via Autoregressive Cursor Actions [0.0]
  Reviserはデコーダのみのトランスフォーマーで、可変キャンバス上のカーソル相対的なアクションのシーケンスとして応答を生成する。 本アリーナ評価では, SEDD と MDLM を強く好んでいる。
  論文  参考訳（メタデータ） (2026-07-23T00:54:26Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Reasoning to Align: Implicit Reasoning in Diffusion Transformers for Video Editing [55.211537893248675]
  本稿では,2つの補完コンポーネントを中心に構築された暗黙の推論ビデオ編集用DiTフレームワークであるRVEDiTを提案する。 RVEDiTは最先端のベースラインを一貫して上回り、特にローカライズされた編集や構成的な編集において大きな利益を得ている。
  論文  参考訳（メタデータ） (2026-05-23T17:22:14Z)
• Autoregressive, Yet Revisable: In Decoding Revision for Secure Code Generation [17.125957722393327]
  Stream of Revision(ストリーム・オブ・リビジョン)は、モノトニックストリームから動的で自己修正的な軌道へのコード生成を高めるパラダイムシフトである。 モデルがシームレスにバックトラックし、単一のフォワードパス内で自身の履歴を編集できるように、特定のアクショントークンを導入します。
  論文  参考訳（メタデータ） (2026-02-01T12:22:46Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• Resolving Lexical Bias in Model Editing [15.677423638211813]
  本稿では,編集の正確な局所化を容易にする不整合表現空間を学習するための原則的アプローチを提案する。 提案手法は,従来の手法よりも推論時の計算効率が良く,最先端のモデル編集結果が得られる。
  論文  参考訳（メタデータ） (2024-08-19T20:50:41Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。