論文の概要: When Do Repetition Loops Lock? Truncation Sampling, Bounded Penalties, and a Blind Spot in DRY

• arxiv url: http://arxiv.org/abs/2610.24715v1
• Date: Sat, 17 Oct 2026 14:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:49:20.07326
• Title: When Do Repetition Loops Lock? Truncation Sampling, Bounded Penalties, and a Blind Spot in DRY
• Title（参考訳）: 繰り返しループはいつロックされるのか? トランジションサンプリング、境界刑、そしてDRYの盲点
• Abstract要約: 入り口よりも出口を調査する。スパンが既に$n$の回数で繰り返されていることを考慮すれば、エスケープは可能だろうか? そこで我々は,DRY-Cを提案する。DRY-Cは動詞の繰り返し回数に応じて指数関数的に増加し,ルックバックウィンドウまで拡張する用語である。
• 参考スコア（独自算出の注目度）: 3.6641231031729173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models sometimes repeat verbatim until the generation limit. We study the exit rather than the entrance: given that a span has already been repeated $n$ times, when is escape still possible? Along the loop the context is deterministic, so loop survival under any sampler can be computed exactly from one forward pass. Pure sampling leaves a positive escape probability at every step; top-$p$ with threshold $π>1/2$ locks a position exactly when the continuation probability reaches $π$. A bounded penalty can leave a position locked; a penalty that outgrows the model's preference for the loop over unseen tokens guarantees escape under top-$p$. The same analysis predicts a blind spot in the widely deployed DRY sampler: its sequence breakers cap the penalty at $λb^{g-1-a}$ for loops whose longest breaker-free run has $g$ tokens. On eleven open models, 66\% of locked units with $g=6$ stay locked under DRY and 1\% with $g=8$. In free generation with llama.cpp, all 109 loops that survive DRY have $g\le 7$. We propose DRY-C, which adds a term that grows exponentially with the number of verbatim recurrences, up to its look-back window. With it, none of 720 structured-output generations looped to the length limit, and task completion stayed close to DRY's.
• Abstract（参考訳）: 言語モデルは時折、生成限界まで動詞を繰り返す。 入り口よりも出口を調査する。スパンが既に$n$の回数で繰り返されていることを考慮すれば、エスケープは可能だろうか? ループに沿ってコンテキストは決定論的であるため、どのサンプリング器のループサバイバルも1つの前方パスから正確に計算できる。 正のサンプリングはすべてのステップで正のエスケープ確率を残す; 閾値が$π>1/2$の上位$p$は、継続確率が$π$に達したときに正確に位置をロックする。 境界付きペナルティは、ロックされた位置を残すことができ、未確認のトークンよりもループに対するモデルの好みを上回るペナルティは、上位$$でエスケープすることを保証します。 シーケンシャルブレーカは、最長のブレーカフリーランが$g$トークンを持つループに対して$λb^{g-1-a}$でペナルティを上限とする。 11個のオープンモデルでは、$g=6$のロックユニットの66\%がDRYの下でロックされ、1\%が$g=8$である。 llama.cppを使ったフリージェネレーションでは、DRYを生き残る109のループはすべて$g\le 7$である。 そこで我々は,DRY-Cを提案する。DRY-Cは動詞の繰り返し回数に応じて指数関数的に増加し,ルックバックウィンドウまで拡張する用語である。 これにより、720の構造化出力世代はいずれも長さ制限にループせず、タスク完了はDRYに近かった。

関連論文リスト

• Weakly Measured Loops for Quantum Amplitude Amplification: Oracle Savings and Adaptive Search with Unknown Target Probability [1.9950682531209158]
  本稿では、通常のグローバー回転をループの弱い測定でインターリーブする量子振幅増幅アルゴリズムの族を示す。 成功した測定が目標状態となり、アルゴリズムが停止するが、失敗した後、ループは再起動することなく測定後の状態から再開する。
  論文  参考訳（メタデータ） (2026-09-30T12:32:33Z)
• Counterfactual Probing for Parallel Unmasking with Hidden Forest Structure [50.58119214447535]
  マスク付き生成モデルは並列トークン予測を提供するが、正確な並列サンプリングはトークンを考慮しなければならない。 本研究は,発見を含む全評価がシーケンス長$N$のサブ線形であるかどうかを考察する。 本研究では, 森林構造を隠蔽した離散分布を, 固定された近似条件オラクルを通してアクセスする。
  論文  参考訳（メタデータ） (2026-09-29T15:39:50Z)
• Sharp Oracle-Regret Tradeoffs for Projection-Free Online Convex Optimization [55.29259818039367]
  我々は, オンライン凸最適化において, 実現可能な集合へのアクセスが正確な線形最適化オラクルに制限された場合に達成可能な後悔を特徴づける。 コンベックス$G$-Lipschitzの損失に対して、直径は最大$D$、合計$Q$オークルコールは$Q$、厳格な制限はラウンド当たり$B$である。
  論文  参考訳（メタデータ） (2026-09-23T22:25:52Z)
• A Sharp Barrier for Consistent Submodular Maximization: Any Improvement over $2-\sqrt{2}$ Entails Exponential Queries or Linear Recourse [50.69285844345291]
  我々は、要素が時間とともに到着する際のソリューションの品質と安定性のトレードオフについて研究する。 我々のアルゴリズムは,有理オラクル$を$O(varepsilon-1)$recourseで実装し,そのアルゴリズムから普遍価格証明書の存在を分離する。
  論文  参考訳（メタデータ） (2026-09-09T10:13:43Z)
• Sharp Minimax Regret for Infinite-Memory Logistic Prediction [55.29259818039367]
  Lag $j$はスケール$r_j$の予測に影響を与え、$n_T,j=T-j+1$の予測ラウンドに入る。 すべての要約可能なエンベロープに対して、局所化された混合は$cR_T(r)leq C_T(r)$を証明する。 指数関数やエンベロープの場合、有限サンプル条件の下では、トープリッツ・デサインの逆は$cR_T(r)geq c_T(r)$である。
  論文  参考訳（メタデータ） (2026-08-27T01:31:46Z)
• How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models [33.509836193149795]
  ループ(深度再帰)言語モデルにどれだけの余分な再発があるかを測定する。 本手法は任意のループ化LMに適用し,真のループ改善をトークン予算ゲインから分離する。
  論文  参考訳（メタデータ） (2026-04-22T21:51:11Z)
• Stopping Computation for Converged Tokens in Masked Diffusion-LM Decoding [46.61138996670135]
  Masked Diffusion Language Modelsは、トークンを徐々に解き放つ反復サンプリングを通じてシーケンスを生成する。 そこで我々は,アンマスキーク位置の後方が段差で安定すると,その位置をロックする,SureLockを提案する。 これにより、定位当たりの計算コストは$O(N2d)$から$O(MNd)$に削減され、$N$はシーケンス長、$M$はアンロックされたトークン位置の数、$d$はモデル寸法となる。
  論文  参考訳（メタデータ） (2026-02-06T06:08:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。