論文の概要: Cognitive Load-Aware Inference: A Neuro-Symbolic Framework for Optimizing the Token Economy of Large Language Models

• arxiv url: http://arxiv.org/abs/2507.00653v1
• Date: Tue, 01 Jul 2025 10:51:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.582896
• Title: Cognitive Load-Aware Inference: A Neuro-Symbolic Framework for Optimizing the Token Economy of Large Language Models
• Title（参考訳）: 認知的負荷認識推論:大規模言語モデルのトーケン経済を最適化するためのニューロシンボリックフレームワーク
• Authors: Yilun Zhang,
• Abstract要約: 本稿では,認知的負荷理論(CLT)と大規模言語モデル(LLM)推論のための神経科学から原理を運用する認知的負荷認識(CLAI)フレームワークを紹介する。 本研究では,内因性認知負荷,外因性認知負荷,ドイツ認知負荷の概念を定量化 LLM 尺度に定式化する。 本稿では,ゼロショット法であるCLAI-Promptと,これらの原理を自己認知経済に内包する微調整モデルであるCLAI-Tuneを提案する。
• 参考スコア（独自算出の注目度）: 0.9790236766474201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The escalating computational costs of Large Language Model (LLM) inference have become a critical barrier to their widespread and sustainable deployment. While existing optimization strategies are effective, they are predominantly based on statistical heuristics or architectural modifications, lacking a guiding cognitive theory to manage the inference process itself. This paper aims to bridge this gap by introducing a novel paradigm: the Cognitive Load-Aware Inference (CLAI) framework, which operationalizes principles from Cognitive Load Theory (CLT) and neuroscience for LLM inference. We formalize the concepts of Intrinsic Cognitive Load, Extraneous Cognitive Load, and Germane Cognitive Load into quantifiable LLM metrics ($ICL_{LLM}$, $ECL_{LLM}$, and $GCL_{LLM}$), thereby reframing the inference process as a cognitive economics optimization problem: based on the intrinsic complexity of a problem ($ICL_{LLM}$), minimize wasteful computation ($ECL_{LLM}$), and strategically allocate the token budget to productive reasoning ($GCL_{LLM}$). We propose two implementation paths: CLAI-Prompt, a zero-shot method that guides a base LLM through cognitive control steps via a structured meta-prompt, and CLAI-Tune, a fine-tuned model that internalizes these principles for spontaneous cognitive economy. Across a range of benchmarks in complex reasoning, long-context question answering, and code generation, our methods achieve significant reductions in token consumption (up to 45\%) without sacrificing accuracy. Furthermore, CLAI-Tune exhibits an emergent ability to autonomously decompose difficult problems, a key characteristic of human expert cognition. This work demonstrates that by emulating the brain's resource management strategies, we can build more efficient, robust, and capable artificial intelligence systems.
• Abstract（参考訳）: LLM(Large Language Model)推論の計算コストの増大は、その広範かつ持続可能な展開にとって重要な障壁となっている。 既存の最適化戦略は効果的であるが、それらは主に統計的ヒューリスティックやアーキテクチャの変更に基づいており、推論プロセス自体を管理するための指導的認知理論を欠いている。 本稿では,認知負荷理論(CLT)とLLM推論のための神経科学から原理を運用する,認知負荷認識推論(CLAI)フレームワークを導入することで,このギャップを埋めることを目的とする。 内在的認知負荷、外因性認知負荷、ドイツ認知負荷の概念を定量化 LLM メトリクス (ICL_{LLM}$, $ECL_{LLM}$, $GCL_{LLM}$) に定式化することにより、推論プロセスを認知経済学最適化問題(ICL_{LLM}$)とみなす:問題の内在的複雑性に基づいて、無駄計算を最小化し(ECL_{LLM}$)、トークン予算を生産的推論に戦略的に割り当てる(GCL_{LLM}$)。 本稿では,ゼロショット法であるCLAI-Promptと,これらの原理を自己認知経済に内包する微調整モデルであるCLAI-Tuneを提案する。 複雑な推論,長文質問応答,コード生成など,さまざまなベンチマークにおいて,精度を犠牲にすることなく,トークン消費の大幅な削減(最大45倍)を実現している。 さらに、CLAI-Tuneは、人間の専門家認知の重要な特徴である難解な問題を自律的に分解する創発的な能力を示す。 この研究は、脳の資源管理戦略をエミュレートすることで、より効率的で堅牢で有能な人工知能システムを構築することができることを示した。

関連論文リスト

• Computational Thinking Reasoning in Large Language Models [69.28428524878885]
  計算思考モデル(CTM)は、計算思考パラダイムを大規模言語モデル(LLM)に組み込んだ新しいフレームワークである。 ライブコード実行は推論プロセスにシームレスに統合され、CTMが計算によって考えることができる。 CTMは、精度、解釈可能性、一般化可能性の観点から、従来の推論モデルとツール拡張ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-06-03T09:11:15Z)
• A Survey of Slow Thinking-based Reasoning LLMs using Reinforced Learning and Inference-time Scaling Law [29.763080554625216]
  本調査は「スロー思考」を模倣した大規模言語モデル(LLM)の最近の進歩を考察する。 LLMは、数学の推論、視覚的推論、診断、マルチエージェントの議論などの複雑なタスクの間、動的に計算資源をスケーリングすることに焦点を当てている。
  論文  参考訳（メタデータ） (2025-05-05T14:14:59Z)
• Computational Reasoning of Large Language Models [51.629694188014064]
  textbfTuring Machine Benchは,Large Language Models(LLM)による推論プロセスの実行能力を評価するベンチマークである。 TMBenchには、自己完結型および知識に依存しない推論、最小主義的な多段階構造、制御可能な難易度、チューリングマシンに基づく理論的基礎の4つの重要な特徴が組み込まれている。
  論文  参考訳（メタデータ） (2025-04-29T13:52:47Z)
• To Code or not to Code? Adaptive Tool Integration for Math Language Models via Expectation-Maximization [30.057052324461534]
  本稿では,メタ認知ツール利用決定と進化能力の間の自己強化サイクルを構築するために,構造化探索(E-step)と非政治最適化(M-step)を併用する新しいフレームワークを提案する。 当社の7Bモデルは、MATH500では11%、AIMEでは9.4%、o1のようなCoTでは9.4%改善しています。
  論文  参考訳（メタデータ） (2025-02-02T06:32:23Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。