論文の概要: Assessing Adversarial Robustness of Latent Reasoning Models

• arxiv url: http://arxiv.org/abs/2609.22228v1
• Date: Thu, 03 Sep 2026 02:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.794331
• Title: Assessing Adversarial Robustness of Latent Reasoning Models
• Title（参考訳）: 潜在共振モデルの対向ロバスト性評価
• Abstract要約: 大規模な言語モデルは、複雑な推論のために長い連鎖軌道にますます依存している。 潜在推論モデルは、中間推論を少数の連続潜在ベクトルに圧縮することで、より効率的な代替手段を提供する。 効率性にもかかわらず、LRMの対角強靭性はほとんど未解明のままである。
• 参考スコア（独自算出の注目度）: 30.62460100065802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly rely on long chain-of-thought (CoT) trajectories for complex reasoning, but autoregressive generation brings substantial memory and inference costs. Latent reasoning models (LRMs) offer a more efficient alternative by compressing intermediate reasoning into a small number of continuous latent vectors. Despite their efficiency, however, the adversarial robustness of LRMs remains largely underexplored. In this work, we systematically evaluate the robustness of latent reasoning across textual and multimodal settings, covering eight models and six benchmarks. We find that, across our evaluated settings, LRMs are generally less robust than explicit CoT baselines under adversarial perturbations, with particularly severe degradation under white-box attacks. Further analysis reveals distinct failure modes across modalities: textual latent states exhibit brittle dynamics and high sensitivity to specific input patterns, while latent states in multimodal models can remain largely invariant to input perturbations and have limited influence on final predictions. These findings expose robustness limitations of current latent reasoning approaches and highlight the need to jointly consider efficiency and robustness when designing implicit reasoning systems. We have open-sourced our code to facilitate reproduction of our research https://github.com/PKU-ML/latent-reasoning-model-assessment.
• Abstract（参考訳）: 大規模言語モデルは、複雑な推論のために長いチェーン・オブ・シンク(CoT)トラジェクトリに依存する傾向にあるが、自己回帰生成は、かなりのメモリと推論コストをもたらす。 ラテント推論モデル(LRMs)は、中間推論を少数の連続ラテントベクトルに圧縮することで、より効率的な代替手段を提供する。 しかし、その効率にもかかわらず、LRMの対角強靭性はほとんど未解明のままである。 本研究では,8つのモデルと6つのベンチマークを対象とし,テキストおよびマルチモーダル設定における潜在推論の頑健さを体系的に評価する。 評価した条件において, LRMは対向的摂動下では明らかにCoTベースラインよりも頑丈で, 特にホワイトボックス攻撃では著しく低下することがわかった。 テキスト潜在状態は脆く、特定の入力パターンに対して高い感度を示すが、マルチモーダルモデルにおける潜在状態は入力摂動に大きく不変であり、最終的な予測に限られた影響を及ぼす。 これらの知見は、現在の潜在推論手法のロバスト性限界を明らかにし、暗黙の推論システムを設計する際に、効率性とロバスト性を共同で検討する必要性を強調している。 我々は,我々の研究の再現を容易にするために,コードをオープンソース化した。

関連論文リスト

• Inducing Overthink: Hierarchical Genetic Algorithm-based DoS Attack on Black-Box Large Language Reasoning Models [26.4508439363827]
  大規模推論モデル(LRM)は、信頼性の高いマルチステップ推論を必要とするシステムにますます統合されている。 LRMは「過大な考え」を示す傾向があり、過度に長く冗長な推論の痕跡を生み出している。 入力問題の論理構造を体系的に摂動させることにより, LRMにおける過大な思考を誘発する自動ブラックボックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T10:57:10Z)
• CAMD: Coverage-Aware Multimodal Decoding for Efficient Reasoning of Multimodal Large Language Models [48.33850939857255]
  我々は、サンプリングカバレッジ、インスタンスの難易度、残留リスクをリンクする理論的枠組みを開発する。 解析の結果,マルチモーダル推論は重み付き難易度分布を示すことがわかった。 推定不確実性に応じて動的に割り当てる適応型推論機構であるCoverage-Aware Multimodal Decoding (CAMD)を提案する。
  論文  参考訳（メタデータ） (2026-03-16T02:31:03Z)
• Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment [97.55382322103986]
  Hit-RAGは認知的ボトルネックを解決するために設計された多段階の優先順位調整フレームワークである。 本手法は,3つの異なる段階を通じて外部証拠の利用を体系的に改善する。
  論文  参考訳（メタデータ） (2026-03-07T04:05:27Z)
• Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought? [79.86483056611105]
  推論 LLM は、答えを出す前にステップバイステップの思考連鎖を生成する。 これらの推論は、その内部で発生する破壊の痕跡をどれほど堅牢にしていますか? 一定のタイミングでモデル自身のCoTを摂動させる制御された評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-02-07T10:02:58Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models [0.0]
  エラーは均一に分散されていないが、重要な決定ジャンクションを表すスパースな"キートークン"に集中していることを示す。 本稿では,意味的に重要なトークンを選択的に保存することを目的とした次世代システムのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:57:31Z)
• Investigating and Enhancing the Robustness of Large Multimodal Models Against Temporal Inconsistency [59.05753942719665]
  本稿では,モデルのロバスト性を評価するために,時間的ロバスト性ベンチマーク(TemRobBench)を提案する。 16のLMMを評価した結果,従来の知識やテキストの文脈に頼りすぎていることが判明した。 我々はパノラマ直接選好最適化(PanoDPO)を設計し、LMMが視覚的特徴と言語的特徴の両方を同時に取り入れることを奨励する。
  論文  参考訳（メタデータ） (2025-05-20T14:18:56Z)
• The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [56.574829311863446]
  CoT(Chain-of-Thought)プロンプトは,大規模言語モデル(LLM)における推論能力の向上によって広く認識されている。 我々は、CoTとその推論変異が、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを実証する。 パターンベースICLにおけるCoTの性能を駆動する明示的単純推論の基本的なハイブリッド機構を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T13:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。