論文の概要: Step-Wise Refusal Dynamics in Autoregressive and Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2602.02600v1
• Date: Sun, 01 Feb 2026 17:41:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:14.968455
• Title: Step-Wise Refusal Dynamics in Autoregressive and Diffusion Language Models
• Title（参考訳）: 自己回帰・拡散言語モデルにおけるステップワイズ拒絶ダイナミクス
• Authors: Eliron Rahimi, Elad Hirshel, Rom Himelstein, Amit LeVi, Avi Mendelson, Chaim Baskin,
• Abstract要約: 拡散言語モデル(DLM)は、最近、自己回帰(AR)モデルに代わる有望な代替品として登場した。 本稿では,ARと拡散サンプリングの比較を可能にする,ステップワイズ・リファリング・ダイナミクスの基本的な解析フレームワークを提案する。 本稿では,SRI(Step-Wise Refusal Internal Dynamics)信号について紹介する。
• 参考スコア（独自算出の注目度）: 5.578295626701434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (DLMs) have recently emerged as a promising alternative to autoregressive (AR) models, offering parallel decoding and controllable sampling dynamics while achieving competitive generation quality at scale. Despite this progress, the role of sampling mechanisms in shaping refusal behavior and jailbreak robustness remains poorly understood. In this work, we present a fundamental analytical framework for step-wise refusal dynamics, enabling comparison between AR and diffusion sampling. Our analysis reveals that the sampling strategy itself plays a central role in safety behavior, as a factor distinct from the underlying learned representations. Motivated by this analysis, we introduce the Step-Wise Refusal Internal Dynamics (SRI) signal, which supports interpretability and improved safety for both AR and DLMs. We demonstrate that the geometric structure of SRI captures internal recovery dynamics, and identifies anomalous behavior in harmful generations as cases of \emph{incomplete internal recovery} that are not observable at the text level. This structure enables lightweight inference-time detectors that generalize to unseen attacks while matching or outperforming existing defenses with over $100\times$ lower inference overhead.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、並列デコードと制御可能なサンプリングダイナミックスを提供しながら、競争力のある生成品質を大規模に達成し、自動回帰(AR)モデルに代わる有望な代替品として最近登場した。 この進歩にもかかわらず、拒絶行動と脱獄堅牢性の形成におけるサンプリング機構の役割は、いまだに理解されていない。 本研究では,ARと拡散サンプリングの比較が可能なステップワイズ・リファリング・ダイナミクスの基本的な解析フレームワークを提案する。 分析の結果,サンプリング戦略自体が,基礎となる学習表現とは異なる要因として,安全行動において中心的な役割を担っていることが明らかとなった。 そこで本研究では,SRI(Step-Wise Refusal Internal Dynamics)信号を導入した。 本研究では,SRIの幾何学的構造が内部回復動態を捉え,有害な世代における異常な挙動をテキストレベルで観測できない 'emph{incomplete internal recovery} の場合として同定することを示した。 この構造は、100\times$より低い推論オーバーヘッドで既存の防御をマッチングまたは性能良くしながら、目に見えない攻撃を一般化する軽量な推論時検出器を可能にする。

関連論文リスト

• Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
  推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。 NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。 評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
  論文  参考訳（メタデータ） (2026-01-12T05:43:51Z)
• Dynamical Systems Analysis Reveals Functional Regimes in Large Language Models [0.8694591156258423]
  大規模言語モデルは高次元内部力学を用いてテキスト生成を行う。 ほとんどの解釈可能性のアプローチは静的表現や因果的介入に重点を置いており、時間構造はほとんど探索されていない。 本稿では,自己回帰生成中のアクティベーション時系列から計算した複合動的計量について論じる。
  論文  参考訳（メタデータ） (2026-01-11T21:57:52Z)
• Explainability-Guided Defense: Attribution-Aware Model Refinement Against Adversarial Data Attacks [6.573058520271728]
  私たちは、トレーニング中に直接活用できる、解釈可能性と堅牢性との関連性を特定します。 本稿では,局所解釈可能なモデル非依存表現をアクティブな訓練信号に変換する属性誘導型改良フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-02T19:36:03Z)
• Improving Deepfake Detection with Reinforcement Learning-Based Adaptive Data Augmentation [60.04281435591454]
  CRDA(Curriculum Reinforcement-Learning Data Augmentation)は、マルチドメインの偽造機能を段階的にマスターするための検出器を導く新しいフレームワークである。 私たちのアプローチの中心は、強化学習と因果推論を統合することです。 提案手法は検出器の一般化性を大幅に向上し,複数のクロスドメインデータセット間でSOTA法より優れている。
  論文  参考訳（メタデータ） (2025-11-10T12:45:52Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
  Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索コーパスに注入された悪意のある通路が、モデルに誤った結果をもたらす可能性がある、敵の毒殺攻撃に対して脆弱である。 本稿では、RAGシステムがこのような攻撃下でどのように振る舞うか、その堅牢性がどのように改善されるかについて、厳密に制御された実証研究を示す。
  論文  参考訳（メタデータ） (2024-12-21T17:31:52Z)
• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• Sycophancy in Vision-Language Models: A Systematic Analysis and an Inference-Time Mitigation Framework [18.54098084470481]
  本稿では,視覚言語ベンチマーク間のサイコフィナンシーを分析し,推論時間緩和フレームワークを提案する。 我々のフレームワークは、中立なプロンプトの性能を維持しながら、評価されたすべてのモデルでサイコフィナンシーを効果的に軽減します。
  論文  参考訳（メタデータ） (2024-08-21T01:03:21Z)
• Robust VAEs via Generating Process of Noise Augmented Data [9.366139389037489]
  本稿では,原データと雑音増大データ間の潜時空間のばらつきを規則化し,ロバスト性を高める新しい枠組みを提案する。 実験により,ロバスト拡張変分オートエンコーダ(RAVEN)と呼ばれるこの手法は,対向入力に対して優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2024-07-26T09:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。