論文の概要: Copy-Paste Language Models

• arxiv url: http://arxiv.org/abs/2610.19247v1
• Date: Tue, 13 Oct 2026 22:03:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.825045
• Title: Copy-Paste Language Models
• Title（参考訳）: コピー・ペースト言語モデル
• Abstract要約: コピー・ペースト言語モデル(CPLM)を提案する。 CPLMは、従来の言語モデリング(LM)ヘッドに軽量なコピーペーストヘッドを追加する。 我々は135Mから1.7Bパラメータのモデルを事前学習することでアプローチを検証する。
• 参考スコア（独自算出の注目度）: 14.297816005348539
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transformers are intuitively considered to be efficient at copying from their inputs. We actually show that the ability of LLMs to copy in context can be improved through explicit modeling. We propose Copy-Paste Language Models (CPLMs), which add a lightweight Copy-Paste head to the conventional language modeling (LM) head. CPLMs improve training efficiency, downstream performance, and offer new operating points in long-context and retrieval setups. We validate our approach by pretraining models from 135M to 1.7B parameters, showing improvements across all scales and backbones with negligible training and inference overheads. We explain the success of CPLMs by showing that they partially mitigate the LM head gradient bottleneck through an alternative gradient path.
• Abstract（参考訳）: トランスフォーマーは直感的には、入力からコピーするのに効率的であると考えられている。 LLMがコンテキスト内でコピーできることは、明示的なモデリングによって改善できることを実際に示しています。 従来の言語モデリング(LM)ヘッドに軽量なCopy-Pasteヘッドを追加するCPLM(Copy-Paste Language Models)を提案する。 CPLMはトレーニング効率、ダウンストリーム性能を改善し、長いコンテキストと検索設定で新たな操作ポイントを提供する。 我々は,モデルが135Mから1.7Bパラメータに事前トレーニングされることで,トレーニングや推論のオーバーヘッドを無視して,すべてのスケールとバックボーンの改善を示す。 本稿では,CPLM の成功を,代替勾配経路を通した LM ヘッド勾配ボトルネックを部分的に緩和することを示すことによって説明する。

関連論文リスト

• Don't Retrain, Align: Adapting Autoregressive LMs to Diffusion LMs via Representation Alignment [46.75006425771645]
  拡散言語モデル(DLM)は、最近、標準自己回帰(AR)モデルを補完する機能を実証した。 我々は,AR-to-DLM変換中に,次点予測によって学習した内部表現幾何を明示的に保存できるかを問う。 本稿では,事前訓練されたARモデルから表現を再利用するために,双方向マスク拡散モデルを適用する表現アライメント対象であるREPR-ALIGNを紹介する。
  論文  参考訳（メタデータ） (2026-05-07T19:35:48Z)
• Should We Still Pretrain Encoders with Masked Language Modeling? [27.19054714197245]
  最近の証拠は、コーサル言語モデリング(CLM)で事前訓練されたデコーダモデルをエンコーダとして効果的に再利用できることを示唆している。 2億1000万から10億のパラメータの合計38モデルをトレーニングし、15,000以上の微調整と評価を実行します。 高いレベルのCLMを用いたトレーニングでは,テキスト表現タスク間で性能が向上する一方で,CLM学習モデルの方がデータ効率が良く,微調整安定性が向上していることがわかった。
  論文  参考訳（メタデータ） (2025-07-01T17:45:48Z)
• LangBridge: Interpreting Image as a Combination of Language Embeddings [64.36674412359778]
  LangBridgeは、ビジュアルトークンをテキスト埋め込みの線形結合に明示的にマッピングする新しいアダプタである。 以上の結果から,LLaMA3-8BやQwen2.5-14Bといった大型モデルに対して,Qwen2-0.5Bで事前訓練したLangBridgeを直接適用できることが示唆された。
  論文  参考訳（メタデータ） (2025-03-25T07:24:27Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• On the Copying Behaviors of Pre-Training for Neural Machine Translation [63.914940899327966]
  これまでの研究で、ニューラルネットワーク翻訳(NMT)モデルを事前訓練言語モデル(LM)で初期化することは、モデルのトレーニングを高速化し、モデル性能を向上させることが示されている。 本研究では,NMTのトレーニング目標とNMTの訓練目標との相違から,NMTの事前訓練における重要な副作用を同定する。 本稿では,復号における複写動作を制御するために,複写ペナルティ(copying penalty)というシンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2021-07-17T10:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。