論文の概要: Cognitive Load Limits in Large Language Models: Benchmarking Multi-Hop Reasoning

• arxiv url: http://arxiv.org/abs/2509.19517v2
• Date: Thu, 25 Sep 2025 21:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 12:12:20.321695
• Title: Cognitive Load Limits in Large Language Models: Benchmarking Multi-Hop Reasoning
• Title（参考訳）: 大規模言語モデルにおける認知的負荷限界:マルチホップ推論のベンチマーク
• Authors: Sai Teja Reddy Adapala,
• Abstract要約: 大規模言語モデル(LLM)は孤立したタスクにおいて優れるが、認知的負荷下での推論はいまだに理解されていない。 本稿では,タスク不適切な情報(コンテキスト飽和)とタスク切替による干渉が,性能を低下させる重要なメカニズムであることを示唆する,計算認知負荷の形式的理論を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The scaling of Large Language Models (LLMs) has exposed a critical gap between their performance on static benchmarks and their fragility in dynamic, information-rich environments. While models excel at isolated tasks, the computational limits that govern their reasoning under cognitive load remain poorly understood. In this work, we introduce a formal theory of computational cognitive load, positing that extraneous, task-irrelevant information (Context Saturation) and interference from task-switching (Attentional Residue) are key mechanisms that degrade performance. We designed the Interleaved Cognitive Evaluation (ICE), a deconfounded benchmark to systematically manipulate these load factors on challenging multi-hop reasoning tasks. A comprehensive study (N = 10 replications per item across 200 questions) revealed significant performance variations across five instruction-tuned models. Smaller open-source architectures (Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.2) exhibited baseline brittleness, achieving 0% accuracy (SEM = 0.0) across all conditions, including clean controls, on this high-intrinsic-load task. In contrast, Gemini-2.0-Flash-001 showed partial resilience, achieving 85% accuracy in control conditions, with a statistically significant degradation under context saturation ($\beta = -0.003$ per % load, $p < 0.001$). These findings provide preliminary evidence that cognitive load is a key contributor to reasoning failures, supporting theories of hallucination-as-guessing under uncertainty. We conclude that dynamic, cognitive-aware stress testing, as exemplified by the ICE benchmark, is essential for evaluating the true resilience and safety of advanced AI systems.
• Abstract（参考訳）: LLM(Large Language Models)のスケーリングは、静的ベンチマークのパフォーマンスと、動的で情報豊富な環境での脆弱性の間に、重大なギャップを露呈している。 モデルは孤立したタスクにおいて排他的であるが、認知的負荷下での推論を規定する計算限界は未だ理解されていない。 本研究では,タスク非関連情報(コンテキスト飽和)とタスクスイッチング(アテンショナル残差)の干渉が性能を低下させる重要なメカニズムであることを示唆する,計算認知負荷の形式理論を導入する。 マルチホップ推論タスクの課題に対して,これらの負荷要因を体系的に操作する,非統合型ベンチマークであるInterleaved Cognitive Evaluation (ICE) を設計した。 総合的な調査(200問にまたがる項目毎の10のレプリケーション)では、5つの命令チューニングモデル間で大きなパフォーマンス変化が示された。 より小さなオープンソースアーキテクチャ (Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.2) はベースラインの脆さを示し、クリーンな制御を含む全ての条件で0%の精度(SEM = 0.0)を達成した。 対照的に、Gemini-2.0-Flash-001は部分的なレジリエンスを示し、制御条件では85%の精度で精度が向上し、文脈飽和下で統計的に有意な劣化が見られた(\beta = -0.003$ per % load, $p < 0.001$)。 これらの知見は、認知負荷が障害の推論に重要な要因であり、不確実性の下での幻覚・覚醒の理論を支持していることを示す予備的な証拠である。 我々は,高度なAIシステムの真のレジリエンスと安全性を評価する上で,ICEベンチマークが示すように,動的で認知に配慮したストレステストが不可欠である,と結論付けている。

関連論文リスト

• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• It Only Gets Worse: Revisiting DL-Based Vulnerability Detectors from a Practical Perspective [14.271145160443462]
  VulTegraは、脆弱性検出のためのスクラッチトレーニングされたDLモデルと事前トレーニングされたDLモデルを比較する。 最先端のSOTA(State-of-the-art)検出器は、依然として低い一貫性、限られた現実世界能力、スケーラビリティの課題に悩まされている。
  論文  参考訳（メタデータ） (2025-07-13T08:02:56Z)
• SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning [95.28059121743831]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、複雑な推論タスクにおいて、大規模言語モデル(LLM)のトレーニングに有効であることが証明されている。 本稿では、モデル欠陥を体系的に識別し、それらを問題解決に活用する自己認識弱さ駆動型問題合成フレームワーク(SwS)を提案する。 SwSはモデルを自己識別し、RLの弱点に対処することで堅牢な一般化を可能にし、7Bモデルと32Bモデルで平均パフォーマンスが10.0%と7.7%向上した。
  論文  参考訳（メタデータ） (2025-06-10T17:02:00Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• AskToAct: Enhancing LLMs Tool Use via Self-Correcting Clarification [25.27444694706659]
  AskToActは、クエリとツールの実行ソリューションの間の構造的マッピングを利用する。 クエリから重要なパラメータを体系的に取り除き,それらを根拠として保持することにより,高品質なトレーニングデータの自動構築を可能にする。 我々のフレームワークは、異なるモデルアーキテクチャにわたって堅牢なパフォーマンスを示し、追加のトレーニングなしで完全に見えないAPIに一般化することに成功しています。
  論文  参考訳（メタデータ） (2025-03-03T12:55:49Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。