論文の概要: Sensitivity, Causality, and Repair Dissociate: A Layer-Wise Analysis of Perturbation Robustness and Its Scaling

• arxiv url: http://arxiv.org/abs/2608.03842v1
• Date: Tue, 04 Aug 2026 15:48:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.270343
• Title: Sensitivity, Causality, and Repair Dissociate: A Layer-Wise Analysis of Perturbation Robustness and Its Scaling
• Title（参考訳）: 感度・因果性・修復解離:摂動ロバスト性の層幅解析とそのスケーリング
• Abstract要約: 言語モデルが表面摂動入力で失敗すると、"どの層が責任を持つか"は3つの自然な操作を持つことを示す。 スパイク・アンド・プレッシャーと遅延累積の2つの伝播機構を同定する。 4つのモデル(3.8-8B)にまたがる固定ハーネス層は、GSM8Kのコア予測を裏付ける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When a language model fails on surface-perturbed input (typos, OCR noise, homophones), "which layer is responsible" has three natural operationalizations: where representations diverge most (sensitivity), where restoring clean activations recovers the prediction (causality), and where a small adapter can repair the damage (compensatory capacity) - and we show these three layer maps dissociate. Across a five-model panel we identify two propagation regimes - spike-and-suppress (Phi-3.5, Gemma-2-9B) and late-accumulation (Llama-3, Mistral, Qwen2.5-7B) - and on the two models meeting an 80% identity-patch gate, sensitivity and causality are anti-correlated (rho = -0.72 to -0.88). Within-family scaling on Qwen2.5 (1.5B to 14B) shows the late-accumulation signature strengthening monotonically with scale, corroborated on a second family. We propose cascade disruption as the mechanism behind the dissociation: adapters placed at causally implicated early layers break intact downstream computation, making diagnostic-flagged sites the worst adapter placements. A fixed-harness layer sweep across four models (3.8-8B) confirms the core prediction on chain-of-thought GSM8K - the flagged sites are the most damaging adapter windows on every adjudicable model - and is sign-consistent but strongly attenuated on a multiple-choice control, consistent with damage that compounds with generation length. The sweep yields practical guidance: a training-free LRD pre-screen and a default-deepest placement rule, though absolute gains over no-adapter baselines remain small. Finally, apparent gains from a representation-stability loss reverse under an adequate generation budget - truncated chain-of-thought had been scored as empty - a methodological warning for any intervention evaluated on chain-of-thought tasks.
• Abstract（参考訳）: 言語モデルが表面摂動入力(タイポス、OCRノイズ、ホモフォン)に障害が発生した場合、「どの層が責任を持つか」という3つの自然な操作方法がある:表現が最も多様になる場合(感度)、クリーンなアクティベーションの復元が予測(因果性)を回復し、小さなアダプタが損傷(補償能力)を修復できる場合(補正能力)、これら3つのレイヤマップが解離することを示す。 5モデルパネルにまたがって、スパイク・アンド・プレス(Phi-3.5, Gemma-2-9B)と遅延累積(Llama-3, Mistral, Qwen2.5-7B)の2つの伝播機構と、80%のアイデンティティパッチゲートを満たす2つのモデルにおいて、感度と因果性は反相関性(rho = -0.72〜-0.88)である。 Qwen2.5 (1.5Bから14B) の家族内スケーリングは、第2の家系と相関した、単調に増大する後期累積のシグネチャを示す。 因果的な初期層に配置されたアダプタは、下流の計算を無傷で破壊し、診断用フラグ付きサイトを最悪のアダプタ配置にしている。 4つのモデルにまたがる固定ハーネス層(3.8-8B)では、GSM8Kのコア予測が確認されている。 トレーニングなしのRDプリスクリーンとデフォルトの深さの配置ルールがあるが、非アダプタベースラインよりも絶対的な利得は小さい。 最後に、適切な世代予算の下での表現安定損失による明らかな利得 - 切り詰められたチェーン・オブ・ソートは空であり、これはチェーン・オブ・ソート・タスクで評価されたあらゆる介入に対する方法論的警告である。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• SafeCA: Safe Cross-Attention Localization and Regulation for Text-to-Video Jailbreak Defense [77.70598852234149]
  テキスト・トゥ・ビデオ(T2V)生成モデルは、現実世界のデプロイにおいてジェイルブレイク攻撃に対して脆弱である。 安全なクロスアテンション・ローカライゼーションと正規化のための機能レベル防衛機構であるSafeCAを提案する。 実験の結果、SafeCAは主流のT2Vモデルでジェイルブレイクの成功率を約20%削減することが示された。
  論文  参考訳（メタデータ） (2026-08-11T14:01:24Z)
• Wrong Before Right: Late Rescue and Interface Failure in Aligned Language Models [2.1291393112295935]
  コーディネート言語モデル内での正確性について検討する。 極性制御された最小対上の層間差差分法(DiD)トラジェクトリを用いて、誤差を同定する。 このことは17モデル、3ファミリー、64倍スケール(0.5B-32B)のパッチスコープ型活性化移植による検証である。
  論文  参考訳（メタデータ） (2026-07-06T03:51:24Z)
• DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
  新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。 適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。 DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
  論文  参考訳（メタデータ） (2026-06-30T20:57:51Z)
• DART: A Vision-Language Foundation Model for Comprehensive Rope Condition Monitoring [2.8993790400286876]
  DART(Damage Assessment via Rope Transformer)は,マルチタスクアーキテクチャによる全ロープ検査に対処する視覚制御基盤モデルである。 HD-MASK(英: HD-MASK)は、ダメージ・ディエンス・パッチの自己言語再構築に焦点を当てたサリエンシ誘導型マスキング戦略である。 DARTは、分類を超えた汎用CMバックボーンとして機能し、単一の共有表現から実行可能なインスペクションインテリジェンスを提供する。
  論文  参考訳（メタデータ） (2026-05-06T14:12:02Z)
• Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations [2.7946918847372277]
  大規模言語モデルは、数学的推論ベンチマークにおいて強い性能を示すが、意味を保存する表面摂動に対して驚くほど脆弱である。 我々は677 GSM8K問題に対して,3つのオープンウェイトLLM(Mistral-7B,Llama-3-8B,Qwen2.5-7B)を意味論的に等価な変種と組み合わせて評価した。 3つのモデルはいずれも相当な解答フリップ率(28.8%-45.1%)を示し、数字のパラフレーズは名前スワップよりも一貫して破壊的である。
  論文  参考訳（メタデータ） (2026-04-02T05:30:20Z)
• Engineering Verifiable Modularity in Transformers via Per-Layer Supervision [0.0]
  分散冗長性は損傷を補うため、資本化にとって重要なものとして認識される注目ヘッドを非難することは、最小限の行動変化をもたらす。 アーキテクチャの介入が隠されたモジュール性を公開することを実証します。 このことは、受動的観察から能動的制御への解釈可能性変換の方法論を台無しにしている。
  論文  参考訳（メタデータ） (2026-03-08T05:18:14Z)
• BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
  Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。 本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:13:06Z)
• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• Overlap-Aware Feature Learning for Robust Unsupervised Domain Adaptation for 3D Semantic Segmentation [9.578322021478426]
  3Dポイントクラウドセマンティックセグメンテーション(PCSS)は、ロボットシステムと自律運転における環境認識の基礎である。 既存の方法は、現実の摂動(例えば、雪、霧、雨)と敵の歪みに固有の脆弱性を批判的に見落としている。 この研究は、まず、現在のPCSS-UDAロバスト性を損なう2つの本質的な制限を特定する。 1) 強靭性指標による敵攻撃・破壊タイプに対するレジリエンスを定量化する頑健性評価モデル,2) 注意誘導重複抑制による識別構造を維持しつつ,双方向のドメインマッピングを可能にする非可逆的注意アライメントモジュール(IAAM) とからなる三部構成のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-02T12:16:23Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。