論文の概要: StressEval: Failure-Driven Dynamic Benchmarking for Knowledge-Intensive Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2605.01939v1
• Date: Sun, 03 May 2026 15:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.007096
• Title: StressEval: Failure-Driven Dynamic Benchmarking for Knowledge-Intensive Reasoning in Large Language Models
• Title（参考訳）: StressEval: 大規模言語モデルにおける知識集約型推論のための障害駆動動的ベンチマーク
• Authors: Yongrui Chen, Yangyang Ma, Xiaoying Huang, Shenyu Zhang, Huajun Chen, Haofen Wang, Guilin Qi,
• Abstract要約: StressEvalは、観測されたモデル障害を動的に困難なテストインスタンスに変換する、障害駆動のデータ合成フレームワークである。 我々は、Dynamic OneEvalを挑戦的な動的ベンチマークのスイートとして構築するためにScressEvalを使用します。
• 参考スコア（独自算出の注目度）: 57.66285238648684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Static benchmarks for LLMs are increasingly compromised by contamination and overfitting especially on knowledge intensive reasoning tasks While recent dynamic benchmarks can alleviate staleness they often increase difficulty at the expense of answerability and controllability In this paper we propose StressEval a failure driven data synthesis framework that turns observed model failures into dynamic challenging and controllable test instances StressEval consists of three stages first it constructs a semi structured difficulty card that identifies the failed reasoning step and its root cause second it applies a dual perspective instance synthesis method that targets both knowledge gaps and reasoning breakdowns while preserving the underlying difficulty factors and third it applies a gating mechanism to retain only grounded unambiguous instances Seeding from multiple knowledge intensive reasoning datasets we employ StressEval to build Dynamic OneEval a focused suite of challenging dynamic benchmark Across several state of the art LLMs Dynamic OneEval yields substantially larger performance drops than the original benchmarks while retaining explicit difficulty factors enabling more actionable iteration
• Abstract（参考訳）: LLMの静的なベンチマークは、特に知識集約的推論タスクにおいて、汚染や過度な適合によって妥協される傾向にあるが、最近の動的ベンチマークは、答え可能性と制御可能性の犠牲で、しばしば安定性を損なうことができる。 本論文では、観測されたモデル障害を動的に困難で制御可能なテストインスタンスに変換する障害駆動データ合成フレームワークであるScressEvalを提案する。

関連論文リスト

• CoG: Controllable Graph Reasoning via Relational Blueprints and Failure-Aware Refinement over Knowledge Graphs [53.199517625701475]
  CoGはDual-Process Theoryにインスパイアされたトレーニング不要のフレームワークで、直観と熟考の相互作用を模倣している。 CoGは精度と効率の両方において最先端のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2026-01-16T07:27:40Z)
• STaR: Towards Cognitive Table Reasoning via Slow-Thinking Large Language Models [12.745473719032026]
  本稿では、認知テーブル推論を実現するための新しいフレームワークSTaR(slow-thinking for table reasoning)を提案する。 STaRはステップバイステップ思考と不確実性認識推論を明示的にモデル化する。 ベンチマーク実験により、STaRは優れた性能を示し、推論安定性が向上した。
  論文  参考訳（メタデータ） (2025-11-14T12:34:17Z)
• ARES: Multimodal Adaptive Reasoning via Difficulty-Aware Token-Level Entropy Shaping [54.37497695483689]
  本稿では,タスクの難易度に基づいて探索作業を動的に割り当てる適応推論のための統合フレームワークであるARESを提案する。 単一トークンエントロピーはノイズが多いが,高いウィンドウエントロピー(HWE)トークンは推論クリティカルな瞬間を確実に捉えることができる。 In the Adaptive Cold-Start stage, we curate multimodal and textual data paired with reasoning traces of length proportional to problem difficulty。 第2段階では,HWEトークンを探索トリガとする適応エントロピーポリシー最適化(AEPO)を開発する。
  論文  参考訳（メタデータ） (2025-10-09T17:03:28Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Hardness-Aware Dynamic Curriculum Learning for Robust Multimodal Emotion Recognition with Missing Modalities [15.783261732000883]
  本稿では,Hardy-MER という,Hardness-Aware Dynamic Curriculum Learning フレームワークを提案する。 まず、各サンプルの硬度レベルを推定し、次に、トレーニング中の硬度レベルを戦略的に強調する。 ベンチマークデータセットの実験は、HARDY-MERが欠落したモダリティシナリオで既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-08-09T03:10:56Z)
• Dynamic Manipulation of Deformable Objects in 3D: Simulation, Benchmark and Learning Strategy [88.8665000676562]
  従来の手法は、しばしば問題を低速または2D設定に単純化し、現実の3Dタスクに適用性を制限する。 データ不足を軽減するため、新しいシミュレーションフレームワークと、低次ダイナミクスに基づくベンチマークを導入する。 本研究では,シミュレーション前トレーニングと物理インフォームドテスト時間適応を統合するフレームワークであるDynamics Informed Diffusion Policy (DIDP)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:28:25Z)
• Exploring LLM Reasoning Through Controlled Prompt Variations [0.9217021281095907]
  我々は,4種類の急激な摂動に直面する場合,最先端モデルが論理的整合性と正当性を維持するかを評価する。 13個のオープンソースおよびクローズドソース LLM を用いて実験を行った結果,モデルコンテキストウィンドウ内に無関係なコンテキストを導入することで,性能が著しく低下することが判明した。 ある摂動は、明示的なプロンプトなしでも、必然的にチェーンオブ思考のような推論行動を引き起こす。
  論文  参考訳（メタデータ） (2025-04-02T20:18:50Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。