論文の概要: Limits of n-gram Style Control for LLMs via Logit-Space Injection

• arxiv url: http://arxiv.org/abs/2601.16224v1
• Date: Mon, 12 Jan 2026 23:52:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 02:21:38.453654
• Title: Limits of n-gram Style Control for LLMs via Logit-Space Injection
• Title（参考訳）: 論理空間注入によるLLMのn-gramスタイル制御の限界
• Authors: Sami-ul Ahmed,
• Abstract要約: 大規模言語モデル(LLM)は、通常、プロンプトエンジニアリングやLoRAのようなパラメータ効率の良い微調整によってパーソナライズされる。 復号時にロジット空間に注入されたn-gramスタイルのフリーズをステアリングする、という軽量な代替案について検討する。 Don Quixote氏、CNN/DailyMailのニュースヘッドライン、arXivの抽象化などです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are typically personalized via prompt engineering or parameter-efficient fine-tuning such as LoRA. However, writing style can be difficult to distill into a single prompt, and LoRA fine-tuning requires computationally intensive training and infrastructure. We investigate a possible lightweight alternative: steering a frozen LLM with n-gram style priors injected in logit space at decoding time. We train an n-gram model on stylistically distinct corpora -- including Don Quixote, CNN/DailyMail news headlines, and arXiv abstracts -- constructing an interpolated 1-to-3-gram prior over next-token probabilities. During generation we modify the LLM's logits by adding a weighted sum of style log-probabilities from each n-gram order that matches the current context, scaled by a control parameter lambda in [0, 1]. We sweep lambda and style corpora and report style perplexity under the n-gram model, base-model perplexity as a proxy for fluency, Jensen-Shannon (JS) divergence between the original and steered token distributions, and token-overlap statistics. On TinyLlama-1.1B we identify a single narrow regime (for the Don Quixote corpus at lambda=0.1) where style perplexity improves by 24.7% and base-model perplexity improves by 51.4% relative to the frozen model. Outside this regime, and for multi-author corpora such as CNN/DailyMail and arXiv abstracts, even small nonzero lambda values generally result in worse style and fluency, and larger lambda values lead to collapse with extreme perplexities and incoherent text. Logit-space injection of n-gram style priors provides lightweight, tunable style control, but it is fragile: it operates effectively only within a narrow range of low lambda values and is consistently outperformed by prompting and LoRA.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、通常、プロンプトエンジニアリングやLoRAのようなパラメータ効率の良い微調整によってパーソナライズされる。 しかし、書き込みスタイルは単一のプロンプトに蒸留することは困難であり、LoRAの微調整には計算集約的なトレーニングとインフラが必要である。 復号時にロジット空間に注入されたn-gramスタイルの先行値を用いた冷凍LDMのステアリングについて検討する。 我々は、Don Quixote氏、CNN/DailyMailのニュース見出し、arXivの抽象化など、スタイリスティックに異なるコーパスでn-gramモデルをトレーニングします。 生成中に、[0, 1]の制御パラメータラムダによってスケールされた現在のコンテキストにマッチする各n-gram順から、スタイルのログ確率の重み付けの和を追加することで、LLMのロジットを変更します。 ラムダとスタイルのコーパスを網羅し、n-gramモデル下でのレポートスタイルのパープレキシティ、フラレンシのプロキシとしてのベースモデルパープレキシティ、オリジナルとステアリングされたトークン分布間のJensen-Shannon(JS)ばらつき、トークンオーバラップ統計について述べる。 TinyLlama-1.1Bでは、スタイルのパープレキシティが24.7%向上し、ベースモデルのパープレキシティが51.4%向上する単一の狭いレギュレーション(ラムダ=0.1のドン・キホーテ・コーパス)を識別する。 この体制以外では、CNN/DailyMailやarXivの抽象化のような複数著者によるコーパスでは、小さな非ゼロのラムダ値でさえ一般的には、スタイルとフラレンシが悪化し、より大きなラムダ値が極端に複雑で不整合なテキストで崩壊する。 n-gramスタイルのプリミティブのロジトスペースインジェクションは軽量でチューニング可能なスタイルコントロールを提供するが、脆弱である。

関連論文リスト

• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training [7.972074133591484]
  我々は, LLMの任意のプルーニングアルゴリズム上で使用可能な, エフェストアップアルゴリズムである textbfNeuroAl を提案する。 我々の手法は、パフォーマンス・ランタイムトレードオフの観点から最新の最先端手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-11T15:30:16Z)
• Markov Constraint as Large Language Model Surrogate [49.86129209397701]
  NgramMarkovは制約プログラミング(CP)におけるテキスト生成に特化している これは文のn-グラムの確率の積を制限する。 5グラムではなく4グラムで現実の問題が初めて解決された。
  論文  参考訳（メタデータ） (2024-06-11T16:09:53Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。