論文の概要: Measuring Stability and Failure Behavior in Language Models Under Structured Perturbations

• arxiv url: http://arxiv.org/abs/2608.22138v1
• Date: Sat, 22 Aug 2026 23:46:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.634803
• Title: Measuring Stability and Failure Behavior in Language Models Under Structured Perturbations
• Title（参考訳）: 構造的摂動下における言語モデルの安定性と故障挙動の測定
• Abstract要約: ストレステスト推論モデルのための、グレード付き、多家族対応のフェールアウェアフレームワークを提案する。 それぞれの問題を7つのファミリーにまたがる複数のレベルの重大さのはしごに沿ってゆがめている。 すべてのテストは、その測定された重症度によって評価され、ラベル付けされる。
• 参考スコア（独自算出の注目度）: 0.5076419064097734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are usually judged by a single accuracy score, which does not reveal how their performance degrades as inputs are perturbed. We present a graded, multi-family, failure-aware framework for stress-testing reasoning models. It perturbs each problem along a multi-level severity ladder across seven families: six that preserve the answer, paraphrase, input noise, formatting, irrelevant context, context load, and conflicting instructions, and a Knowledge Boundary family that removes answerability so that refusal becomes the correct response. Every test is validity-gated and labeled by its measured severity, and each model is summarized by per-level Accuracy, a magnitude-weighted Stability, and a per-family Collapse Point defined relative to the model's own baseline. Instantiated on the same 100 seed problems used by GSM-Symbolic, expanded into 4,473 gated tests and run on four models spanning capability tiers, the framework exposes structure that an aggregate score hides: the level at which a model fails is family-specific rather than global, and two stressors expose consistent weaknesses across all models: conflicting instructions and questions built on an impossible premise. Recognition of unanswerability is otherwise uneven, reliable on missing information and fabricated evidence but weak on impossible premises. These failure points are invisible to standard accuracy reporting.
• Abstract（参考訳）: 言語モデルは通常、単一の精度スコアで判断される。 ストレステスト推論モデルのための、グレード付き、多家族対応のフェールアウェアフレームワークを提案する。 回答、パラフレーズ、入力ノイズ、フォーマッティング、無関係なコンテキスト、コンテキスト負荷、競合する命令を保存する6つのファミリーと、拒否が正しい応答になるように応答可能性を削除する知識境界ファミリーである。 それぞれのテストは、その測定された重大さによって検証され、ラベル付けされ、各モデルは、レベルごとの精度、等級重み付き安定性、およびモデル自身のベースラインに対して定義された家族ごとの崩壊点によって要約される。 GSM-Symbolicが使用した100の種問題に基づいて、機能階層にまたがる4つのモデルで4,473のゲートテストに拡張され、フレームワークは集約スコアが隠す構造を公開している。 解答不能の認識は不均一であり、不確実な情報や偽の証拠に頼っているが、不可能な前提では弱い。 これらの故障点は、標準的な精度の報告には見えない。

関連論文リスト

• The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
  大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。 現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。 しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
  論文  参考訳（メタデータ） (2026-07-14T17:01:12Z)
• Where Instruction Hierarchy Breaks: Diagnosing and Repairing Failures in Reasoning Language Models [15.752705487977861]
  本稿では,命令階層障害を命令識別,コンフリクト解決,応答実現にローカライズする診断フレームワークを提案する。 我々は、IHEvalとIHChallengeの長文適応において、Gemma-4-31B-IT、Qwen3.6-35B-A3B、Claude Sonnet 4.6の3つの推論モデルを評価する。 最強のモニターは規則に従う非準拠を81-99%減らし、GPT-5.3は静的攻撃で86%減、適応攻撃で45%減らした。
  論文  参考訳（メタデータ） (2026-06-05T19:36:48Z)
• LLMs Show No Signs Of Individuated Metacognition [0.023227405857540805]
  20大言語モデルから二項信頼判断を分解する。 信頼性が異なる2つのモデルも性能が異なるかどうかを問う。 いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
  論文  参考訳（メタデータ） (2026-05-22T23:54:33Z)
• Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning [56.48520300004217]
  本稿では、文脈干渉を内部の訓練信号に変換するセルフプレイのRLフレームワークであるSeyrnesを紹介する。 単一のモデルでは、可視的かつ気を散らすようなコンテキストの構築と、それ自身で盲点を露呈するように訓練されている。 これらの競合する目標を互いに衝突させることで、Sailnes氏は、表面的なパターンマッチングを超えてモデルを補完する。
  論文  参考訳（メタデータ） (2026-05-12T06:58:35Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• Sensitivity Uncertainty Alignment in Large Language Models [0.0]
  逆入力およびあいまい入力下での大規模言語モデルの故障を解析するためのフレームワークを提案する。 我々はスカラースコア SUA_theta(x) を定義し、分布感度と予測エントロピーの差を捉える。 我々は,一貫性の正則化とエントロピーアライメントを組み合わせたトレーニング手法SUA-TRと,より安全な推論のための禁制ルールを導入する。
  論文  参考訳（メタデータ） (2026-04-21T17:53:12Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Beyond Memorization: Testing LLM Reasoning on Unseen Theory of Computation Tasks [8.210112631285666]
  大規模言語モデル(LLM)は、形式的な言語タスクにおいて強力なパフォーマンスを示している。 正規言語を用いた決定論的有限オートマトン (DFA) 構築のためのベンチマークを導入する。 モデルが実際の質問に対して完璧に精度を達成し、タスクに対して84-90%を達成できることを示すが、その精度は目に見えない問題に対して急激に低下する。
  論文  参考訳（メタデータ） (2026-01-19T21:00:31Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions [54.34001921326444]
  話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されている。 既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。 SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。
  論文  参考訳（メタデータ） (2025-09-21T14:11:16Z)
• Can Large Language Models Always Solve Easy Problems if They Can Solve Harder Ones? [65.43882564649721]
  大きな言語モデル(LLM)は印象的な機能を示しているが、それでも矛盾する問題に悩まされている。 我々はConsisEvalベンチマークを開発し、各エントリは厳密な難易度で2つの質問から構成される。 相対的整合性スコアによる整合性向上の可能性を分析する。
  論文  参考訳（メタデータ） (2024-06-18T17:25:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。