論文の概要: AutoIndexer: Flexible-Order Decoding by Training Causal Models on Chains of Edits

• arxiv url: http://arxiv.org/abs/2610.12545v1
• Date: Thu, 08 Oct 2026 17:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.222739
• Title: AutoIndexer: Flexible-Order Decoding by Training Causal Models on Chains of Edits
• Title（参考訳）: AutoIndexer: 編集の連鎖に関する因果モデルのトレーニングによるフレキシブルオーダーデコーディング
• Abstract要約: AutoIndexerは、編集の連鎖をシミュレートする新しいトレーニングとデコード機構を備えた生成モデルである。 トレーニングシーケンスは、逆連鎖編集操作で接地木ラベルを摂動することで得られる。 提案手法は,ほとんどの自己回帰モデルと拡散モデルが欠落している,次世代の文脈編集機能を示す。
• 参考スコア（独自算出の注目度）: 12.224677324187871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive decoding is less suited to non-causally ordered data, e.g., cross-references or future dependencies, since their outputs cannot be revised post hoc, unlike iterative human reasoning. Diffusion LLMs partially mitigate this limitation but still cannot flexibly insert or remove arbitrary numbers of tokens from a pre-generated context. We design AutoIndexer as a generative model with a novel training and decoding mechanism that simulates a Chain of Edits, allowing the model to flexibly modify its prior outputs in hindsight via token insertions, substitutions, and deletions. The model learns to predict marker tokens for opening and closing edits, simultaneously moving a cursor to positions in the existing token sequence, analogous to a text editor. Training sequences are obtained by perturbing ground-truth labels with inverse chained edit operations, and the model learns to edit by undoing those inverses. The perturbation training allows AutoIndexer to be robust to erroneous context and adaptable to editing tasks such as code correction. We demonstrate that our method exhibits post-generation context-editing capabilities that most autoregressive and diffusion models lack without compromising performance on standard LLM benchmarks. The code is available at https://github.com/AutodeskAILab/autoindexer.
• Abstract（参考訳）: 自動回帰デコーディングは、反復的な人間の推論とは異なり、アウトプットをポストホックで修正できないため、非因果的に順序づけられたデータ(例えば、相互参照や将来の依存関係)には適さない。 拡散 LLM はこの制限を部分的に緩和するが、事前に生成されたコンテキストから任意の数のトークンを柔軟に挿入または削除することはできない。 我々はAutoIndexerを、編集の連鎖をシミュレートする新しいトレーニングとデコード機構を備えた生成モデルとして設計し、トークン挿入、置換、削除を通じて、後から反射的に出力を変更できるようにした。 このモデルは、編集の開閉のためのマーカートークンを予測し、カーソルをテキストエディタに類似した既存のトークンシーケンスの位置に同時に移動させる。 トレーニングシーケンスは、逆連鎖編集操作で接地木ラベルを摂動することで得られる。 摂動トレーニングにより、AutoIndexerは誤ったコンテキストに対して堅牢になり、コード修正などの編集タスクにも適応できる。 提案手法は,ほとんどの自己回帰モデルと拡散モデルにおいて,標準LLMベンチマークの性能を損なうことなく,後世代の文脈編集能力を示すことを示す。 コードはhttps://github.com/AutodeskAILab/autoindexer.comで公開されている。

関連論文リスト

• When Edit Flows are Edit Jumps: replicating Edit Flows and EvoFlows [1.295510990912869]
  編集ベースの生成モデルは、編集位置、編集数、出力長を事前に固定することなく、そのような編集予算を割り当てる唯一のモデルである。 ここでは、両方のメソッドが、同じ基盤となるプロセスに従うことを示します。 我々は1.66Mで訓練された1つのジェネラリストエディタで、このフレームワークの最初のオープン実装を紹介する。
  論文  参考訳（メタデータ） (2026-09-16T14:39:26Z)
• Reviser: Revision-Capable Text Generation via Autoregressive Cursor Actions [0.0]
  Reviserはデコーダのみのトランスフォーマーで、可変キャンバス上のカーソル相対的なアクションのシーケンスとして応答を生成する。 本アリーナ評価では, SEDD と MDLM を強く好んでいる。
  論文  参考訳（メタデータ） (2026-07-23T00:54:26Z)
• Autoregressive, Yet Revisable: In Decoding Revision for Secure Code Generation [17.125957722393327]
  Stream of Revision(ストリーム・オブ・リビジョン)は、モノトニックストリームから動的で自己修正的な軌道へのコード生成を高めるパラダイムシフトである。 モデルがシームレスにバックトラックし、単一のフォワードパス内で自身の履歴を編集できるように、特定のアクショントークンを導入します。
  論文  参考訳（メタデータ） (2026-02-01T12:22:46Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors [53.819805242367345]
  本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。 GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。 T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
  論文  参考訳（メタデータ） (2022-11-20T17:18:22Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Align-Refine: Non-Autoregressive Speech Recognition via Iterative Realignment [18.487842656780728]
  非自己回帰モデルの出力を編集することで、補充モデルと反復精製モデルがこのギャップの一部を構成する。 本稿では、出力シーケンス空間ではなく、遅延アライメント上で補正が行われる反復再配置を提案する。
  論文  参考訳（メタデータ） (2020-10-24T09:35:37Z)
• Felix: Flexible Text Editing Through Tagging and Insertion [21.55417495142206]
  Felixはフレキシブルなテキスト編集方式で、双方向コンテキストによるデコードと自己教師型事前学習のアイデアから最大限の利益を得るように設計されている。 テキスト編集タスクを2つのサブタスクに分解し、入力トークンのサブセットと出力テキストの順番をタグ付けし、入力に存在しない出力に欠落したトークンを埋め込む。
  論文  参考訳（メタデータ） (2020-03-24T07:01:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。