論文の概要: Monotonicity as an Architectural Bias for Robust Language Models

• arxiv url: http://arxiv.org/abs/2602.02686v1
• Date: Mon, 02 Feb 2026 19:03:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.018317
• Title: Monotonicity as an Architectural Bias for Robust Language Models
• Title（参考訳）: ロバスト言語モデルのアーキテクチャバイアスとしてのモノトニック性
• Authors: Patrick Cooper, Alireza Nadali, Ashutosh Trivedi, Alvaro Velasquez,
• Abstract要約: 大規模言語モデル(LLM)は、敵のプロンプトやジェイルブレイク攻撃の下で不安定な振る舞いを示すことが知られている。 トランスフォーマーに基づく言語モデルのロバスト性向上のためのアーキテクチャ的帰納バイアスとしての単調性について検討する。
• 参考スコア（独自算出の注目度）: 9.84177443010824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are known to exhibit brittle behavior under adversarial prompts and jailbreak attacks, even after extensive alignment and fine-tuning. This fragility reflects a broader challenge of modern neural language models: small, carefully structured perturbations in high-dimensional input spaces can induce large and unpredictable changes in internal semantic representations and output. We investigate monotonicity as an architectural inductive bias for improving the robustness of Transformer-based language models. Monotonicity constrains semantic transformations so that strengthening information, evidence, or constraints cannot lead to regressions in the corresponding internal representations. Such order-preserving behavior has long been exploited in control and safety-critical systems to simplify reasoning and improve robustness, but has traditionally been viewed as incompatible with the expressivity required by neural language models. We show that this trade-off is not inherent. By enforcing monotonicity selectively in the feed-forward sublayers of sequence-to-sequence Transformers -- while leaving attention mechanisms unconstrained -- we obtain monotone language models that preserve the performance of their pretrained counterparts. This architectural separation allows negation, contradiction, and contextual interactions to be introduced explicitly through attention, while ensuring that subsequent semantic refinement is order-preserving. Empirically, monotonicity substantially improves robustness: adversarial attack success rates drop from approximately 69% to 19%, while standard summarization performance degrades only marginally.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、広範囲なアライメントと微調整の後であっても、敵のプロンプトやジェイルブレイク攻撃の下で不安定な振る舞いを示すことが知られている。 高次元の入力空間における小さく、注意深く構造化された摂動は、内部の意味表現と出力に大きな予測不可能な変化を引き起こす。 トランスフォーマーに基づく言語モデルのロバスト性向上のためのアーキテクチャ的帰納バイアスとしての単調性について検討する。 モノトニック性はセマンティック変換を制約し、情報、証拠、制約を強化することは、対応する内部表現の回帰につながることはない。 このような秩序を保つ行動は、長い間、推論を単純化し、堅牢性を改善するために、制御および安全クリティカルなシステムで利用されてきたが、伝統的に、ニューラルネットワークモデルによって要求される表現性とは相容れないと見なされてきた。 このトレードオフは本質的にないことを示す。 シーケンシャル・ツー・シーケンス・トランスフォーマーのフィード・フォワード・サブレイヤにモノトニック性を選択的に強制することで、注意機構が制約されないまま、事前訓練されたサブレイヤのパフォーマンスを保ったモノトーン言語モデルを得る。 このアーキテクチャ分離により、否定、矛盾、文脈的相互作用が注意を通して明示的に導入され、その後のセマンティックリファインメントが順序保存されることが保証される。 敵の攻撃成功率はおよそ69%から19%に低下し、標準的な要約性能はわずかに低下する。

関連論文リスト

• Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
  創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。 複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
  論文  参考訳（メタデータ） (2026-01-30T15:28:42Z)
• Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis [3.1526281887627587]
  モデル一般化の予測には推論からのリコールの排除が不可欠である。 我々は、制御された合成言語パズルのデータセットを使用して、層、頭、ニューロンレベルでトランスフォーマーモデルを探索する。 この結果から、リコールと推論は変換器モデルにおける分離可能だが相互作用する回路に依存しているという最初の因果的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-03T04:13:06Z)
• $φ^{\infty}$: Clause Purification, Embedding Realignment, and the Total Suppression of the Em Dash in Autoregressive Language Models [0.0]
  自動回帰変換言語モデルにおいて,エムダッシュトークンがセマンティックドリフトを引き起こす重大な脆弱性を同定する。 本稿では,フィインフィニティ演算子とターゲット埋め込み行列を併用した記号節の浄化法を提案する。
  論文  参考訳（メタデータ） (2025-06-22T18:27:39Z)
• Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment [0.0]
  隠れ状態遷移を制御する構造変調機構が導入された。 格子調整は、パープレキシティ変動、エントロピー分散、および語彙不安定の低減に寄与した。
  論文  参考訳（メタデータ） (2025-02-10T09:46:33Z)
• Beyond Interpretability: The Gains of Feature Monosemanticity on Model Robustness [68.69369585600698]
  ディープラーニングモデルは多意味性による解釈可能性の欠如に悩まされることが多い。 神経細胞が一貫したセマンティクスと異なるセマンティクスに対応するモノセマンティクスの最近の進歩は、解釈可能性を大幅に改善した。 モノセマンティックな特徴は解釈可能性を高めるだけでなく、モデル性能の具体的な向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-27T18:03:20Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。