論文の概要: Fragility Is Not Reducible to Hardness: Conditional Causal Difficulty for LLMs

• arxiv url: http://arxiv.org/abs/2611.02065v1
• Date: Sun, 01 Nov 2026 17:10:02 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:21:37.590854
• Title: Fragility Is Not Reducible to Hardness: Conditional Causal Difficulty for LLMs
• Title（参考訳）: 脆弱さは硬さを損なう- LLM の条件因果障害
• Abstract要約: 本稿では,課題難易度を因果量,すなわちモデルに対する意味保存摂動の処理効果として再考する。 意味保存の書き直しは、モデルが既に解決できるタスクを損なうためにのみ観察できるので、劣化が発生したプリンシパルに推定値を置く。 難しいタスクは表現に敏感な傾向があるため、複雑さは共同設立者というよりはエフェクト修飾子として現れる。
• 参考スコア（独自算出の注目度）: 3.766238383901317
• License:
• Abstract: Large language models show large and seemingly arbitrary performance drops when a task is rewritten in ways that leave its requirements untouched. We recast task difficulty as a causal quantity: the treatment effect of meaning-preserving perturbations on a model. A meaning-preserving rewrite can only be observed to hurt a task the model can already solve, so we place the estimand on the principal stratum where the degradation occurs: the conditional causal difficulty (CCD), the probability that a randomly drawn twin breaks a solvable task. Because harder tasks tend to be more phrasing-sensitive, complexity enters as an effect modifier rather than a confounder, and we residualize it out to obtain complexity-residualized difficulty (CRD); zero for a task exactly as fragile as its complexity predicts, positive for anomalously fragile ones. Current benchmarks do not supply the data CCD requires, so we introduce GlassGSM and GlassMATH, augmenting GSM8K and MATH with twins built from perturbation families, raising fragility on GlassGSM by $\approx 12\times$ over GSM-IC-style distractors on the same problems ($3.7\%\to44.9\%$) while keeping the answer key unchanged. Our predictor Frail learns the per-perturbation break probability and reaches $0.613{\pm}0.023$ of the suite reliability ceiling on GlassGSM and $0.557{\pm}0.023$ on GlassMATH, against $0.171$/$0.401$ for a surface-feature baseline and $0.444$/$0.463$ for supervised baselines such as VAP3, and, at a $5\%$ curation budget on GlassGSM, doubles random recall of fragile items, matching an oracle ranking. Additionally, cross-fitted residualization leaves CRD uncorrelated with the declared proxy in practice. Code is available at https://github.com/upwork/Conditional_Causal_Difficulty_for_LLMs
• Abstract（参考訳）: 大規模言語モデルでは、要求に応えない方法でタスクが書き換えられると、大きくて一見任意のパフォーマンス低下を示す。 本稿では,課題難易度を因果量,すなわちモデルに対する意味保存摂動の処理効果として再考する。 モデルがすでに解決した課題を損なうためにのみ意味保存の書き直しが観察できるので、分解が起こる主層に推定値を置く:条件因果難度(CCD)、ランダムに描画された双子が解決可能な課題を破る確率。 難しいタスクは表現に敏感な傾向があるため、複雑性は共同創設者というよりもエフェクト修飾子として登場し、複雑残留化困難(CRD; complexity-residualized difficulty)を得るためにそれを残留させます。 現在のベンチマークでは、CCDが必要とするデータを提供していないため、GlassGSMとGlassMATHを導入し、GSM8KとMATHを摂動系で構築した双子で強化し、同じ問題(3.7\%\to44.9\%$)でGSM-ICスタイルのイントラクタを$\approx 12\times$でGlassGSMの脆弱性を高めます。 予測器Frailは摂動破壊確率を学習し、GlassGSMのスイート信頼性天井の0.613{\pm}0.023$、GlassMATHの0.557{\pm}0.023$、表面機能ベースラインの0.171$/0.401$、VAP3のような教師付きベースラインの0.444$/0.463$、GlassGSMの5.%のキュレーション予算で、フレキシブルアイテムのランダムリコールを行い、オラクルのランクと一致する。 さらに、クロスフィットした残留化葉は、実際には宣言されたプロキシとは無関係である。 コードはhttps://github.com/upwork/Conditional_Causal_Difficulty_for_LLMsで入手できる。

関連論文リスト

• Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes [41.99844472131922]
  DDQLに対する平均的な実装不足は、学習済みの構成が大幅に改善されることはない。 命令実行のための深い強化学習ポリシーは、訓練種によって大きく異なる可能性がある。 アクロスシード分散は、K=8$で最低であるが、非モノトンであり、家族的な調整には堅牢ではない。
  論文  参考訳（メタデータ） (2026-10-02T14:27:26Z)
• Decodable but Misrouted: Sparse Features Uncover a Readout Gap in Vision-Language Models for Harmful Meme Detection [11.020614074201346]
  Gemma-3 と Qwen3.5 では,スパースオートエンコーダ,ロールコンディショニングプローブ,因果介入,リカバリ実験を用いて区別を行った。 スパース読み込みは6つのプライマリバイナリタスクすべてでネイティブ予測を上回っている。 ルーティングは、表現のみではなく、有害なミーム分類において、繰り返し発生するボトルネックである。
  論文  参考訳（メタデータ） (2026-09-16T16:00:36Z)
• When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
  10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。 平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
  論文  参考訳（メタデータ） (2026-05-25T15:57:11Z)
• What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
  現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。 我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
  論文  参考訳（メタデータ） (2026-05-12T01:57:53Z)
• SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
  我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。 成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。 モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
  論文  参考訳（メタデータ） (2025-11-26T01:28:22Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Byzantine Failures Harm the Generalization of Robust Distributed Learning Algorithms More Than Data Poisoning [19.624245500772027]
  頑健な分散学習アルゴリズムは、労働者の不在にもかかわらず信頼性の高い性能を維持することを目的としている。 このような誤動作は、通常、$textitByzantine failures$としてモデル化され、任意に破損した通信を可能にするか、あるいはローカルなトレーニングデータに制限された、より弱い形式の汚職である$textitdata poisoning$としてモデル化される。 ビザンチンの失敗は、データ中毒で達成可能なものよりも、はるかに悪い速度で発生します。
  論文  参考訳（メタデータ） (2025-06-22T12:59:15Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。