論文の概要: Uncovering Uncontrolled Repetition through Residual Stream Dynamics

• arxiv url: http://arxiv.org/abs/2609.38802v1
• Date: Wed, 30 Sep 2026 02:33:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.04386
• Title: Uncovering Uncontrolled Repetition through Residual Stream Dynamics
• Title（参考訳）: 残差ストリームダイナミクスによる制御不能な繰り返しの発見
• Abstract要約: 制御不能な繰り返しは、大きな言語モデルにおける自己回帰生成を長引かせる可能性がある。 本稿では, 残留力学から繰り返し発生する異常を同定し, 局所化する手法を提案する。 実験により、Tokenwise Residual Comparisonは、制御されていない繰り返しを効果的に軽減し、ループレートを平均57%減少させることが示された。
• 参考スコア（独自算出の注目度）: 21.463950896957257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncontrolled repetition can prolong autoregressive generation in large language models (LLMs) and enable resource consumption attacks. Prior analyses of repetitive generation have identified strongly activated features in intermediate and late layers. However, how uncontrolled repetition activity emerges and develops before becoming prominent in these layers remains insufficiently understood. In this paper, we investigate this question primarily in large vision-language models (LVLMs), which support a richer set of uncontrolled repetitions through both visual and textual inputs. We propose Tokenwise Residual Comparison (TRC), a method that identifies and localizes anomalies associated with repetition from residual dynamics during generation. TRC compares attention and multilayer perceptron writes to the residual stream across generated tokens to identify patterns associated with repetition. It then selectively suppresses coordinates in the residual stream at the identified layer. Experiments show that TRC effectively mitigates uncontrolled repetition, reducing loop rates by 57\% on average. Our analysis further shows that repetition semantics emerge in shallow layers and propagate through the residual stream, disrupting normal representations. TRC also generalizes to large language models (LLMs) and large reasoning models (LRMs), where it consistently captures analogous repetition dynamics and achieves effective mitigation. Our work broadens the study of repetitive generation from its prominent internal representations to earlier opportunities for intervention, providing insights for mitigating resource consumption attacks.
• Abstract（参考訳）: 制御されていない繰り返しは、大規模言語モデル(LLM)における自己回帰生成を長くし、リソース消費攻撃を可能にする。 繰り返し生成の以前の分析では、中間層と後期層で強く活性化された特徴が同定されている。 しかし、これらの層で顕著になる前に、どのように制御されていない反復活動が出現し発展するかは、まだ十分に理解されていない。 本稿では,主に視覚言語モデル(LVLM)において,視覚的入力とテキスト入力の両方を通じて,制御不能な繰り返しのリッチな集合をサポートする。 本稿では, 生成過程における残留動態の繰り返しに伴う異常を同定し, 局所化する手法であるTokenwise Residual Comparison (TRC)を提案する。 TRCは注意を比べ、多重層パーセプトロンは生成されたトークンをまたいだ残留ストリームに書き込み、繰り返しに関連するパターンを特定する。 そして、識別された層における残留ストリームの座標を選択的に抑制する。 実験により、RTCは制御されていない繰り返しを効果的に軽減し、ループレートを平均57倍に下げることが示された。 さらに, 繰り返し意味論が浅い層に出現し, 残留流を伝播し, 正規表現を乱すことを示す。 TRCはまた、大言語モデル(LLM)や大推論モデル(LRM)にも一般化し、同種の反復力学を一貫して捉え、効果的に緩和する。 我々の研究は、内部の顕著な表現から早期介入の機会まで反復的生成の研究を拡大し、資源消費攻撃を緩和するための洞察を提供する。

関連論文リスト

• FOCUS & RePAIR: Mitigating Text Degeneration via Token-Level Guidance for Pruned Large Language Models [3.1974216220560816]
  プルーニングは大規模言語モデル(LLM)を圧縮するための実践的アプローチである 本稿では,復号化を動的プロセスとして見ることによって,この障害モードのトークンレベル解析を行う。 本研究の目的は,2つのトークンレベルの指導目標を提案することである。
  論文  参考訳（メタデータ） (2026-08-27T06:31:18Z)
• Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
  MRI再建は本質的に不完全な逆問題である。 この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。 提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
  論文  参考訳（メタデータ） (2026-05-19T04:40:50Z)
• RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO [53.38929612273108]
  因果自己回帰ビデオ拡散モデルは、以前生成されたコンテンツから将来のチャンクを外挿することでリアルタイムストリーミング生成をサポートする。 本稿では,リアルタイム自動回帰ビデオ補間ネットワーク(RAVEN)を紹介した。これは,各自己ロールアウトを,クリーンな歴史的エンドポイントのインターリーブシーケンスに再パッケージするトレーニングタイムテストフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T17:59:30Z)
• Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall [28.243098541421755]
  決定論的潜在経路を介して情報を保存する,新規でシンプルな機構であるLoopholingを紹介する。 LDDMは、以前のベースラインよりも最大で61%高い生成的パープレキシティを著しく向上させる。 また、ループホリングはアイドルステップや振動を緩和し、高品質な非自己回帰テキスト生成へのスケーラブルな経路を提供することを示す。
  論文  参考訳（メタデータ） (2025-10-22T07:08:47Z)
• Understanding the Repeat Curse in Large Language Models from a Feature Perspective [10.413608338398785]
  大規模言語モデル(LLM)は、しばしば反復的なテキスト生成に悩まされる。 本稿では,Repeat Curse を誘導・解析するための新しい手法 "Duplicatus Charm" を提案する。
  論文  参考訳（メタデータ） (2025-04-19T07:53:37Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。