論文の概要: Computational Economics in Large Language Models: Exploring Model Behavior and Incentive Design under Resource Constraints

• arxiv url: http://arxiv.org/abs/2508.10426v1
• Date: Thu, 14 Aug 2025 07:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.221767
• Title: Computational Economics in Large Language Models: Exploring Model Behavior and Incentive Design under Resource Constraints
• Title（参考訳）: 大規模言語モデルにおける計算経済学:資源制約下におけるモデル行動とインセンティブデザインの探索
• Authors: Sandeep Reddy, Kabir Khan, Rohit Patil, Ananya Chakraborty, Faizan A. Khan, Swati Kulkarni, Arjun Verma, Neha Singh,
• Abstract要約: 大規模言語モデル(LLM)は計算コストによって制限される。 我々は, LLMを資源制約されたエージェントの内部経済として扱う「計算経済学」の枠組みを導入する。 計算が不十分な場合、標準LLMは精度を保ちながら高価値トークンに注意を向ける。
• 参考スコア（独自算出の注目度）: 1.00707850217229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are limited by substantial computational cost. We introduce a "computational economics" framework that treats an LLM as an internal economy of resource-constrained agents (attention heads and neuron blocks) that must allocate scarce computation to maximize task utility. First, we show empirically that when computation is scarce, standard LLMs reallocate attention toward high-value tokens while preserving accuracy. Building on this observation, we propose an incentive-driven training paradigm that augments the task loss with a differentiable computation cost term, encouraging sparse and efficient activations. On GLUE (MNLI, STS-B, CoLA) and WikiText-103, the method yields a family of models that trace a Pareto frontier and consistently dominate post-hoc pruning; for a similar accuracy we obtain roughly a forty percent reduction in FLOPS and lower latency, together with more interpretable attention patterns. These results indicate that economic principles offer a principled route to designing efficient, adaptive, and more transparent LLMs under strict resource constraints.
• Abstract（参考訳）: 大規模言語モデル(LLM)は計算コストによって制限される。 我々は,LLMを資源制約されたエージェント(アテンションヘッドとニューロンブロック)の内部経済として扱う「計算経済学」フレームワークを導入する。 まず、計算が不十分な場合、標準LLMは精度を保ちながら高い値のトークンに注意を向ける。 本研究では,タスク損失を計算コストの異なる項で増大させ,疎結合で効率的な活性化を促すインセンティブ駆動型トレーニングパラダイムを提案する。 GLUE (MNLI, STS-B, CoLA) と WikiText-103 では、パレートフロンティアを辿り、常にポストホックプルーニングを支配的なモデル群が生成される。 これらの結果は、経済原理が、厳密な資源制約の下で、効率的で適応的で透明性の高いLLMを設計するための原則的な経路を提供することを示している。

関連論文リスト

• Cognitive Load-Aware Inference: A Neuro-Symbolic Framework for Optimizing the Token Economy of Large Language Models [0.9790236766474201]
  本稿では,認知的負荷理論(CLT)と大規模言語モデル(LLM)推論のための神経科学から原理を運用する認知的負荷認識(CLAI)フレームワークを紹介する。 本研究では,内因性認知負荷,外因性認知負荷,ドイツ認知負荷の概念を定量化 LLM 尺度に定式化する。 本稿では,ゼロショット法であるCLAI-Promptと,これらの原理を自己認知経済に内包する微調整モデルであるCLAI-Tuneを提案する。
  論文  参考訳（メタデータ） (2025-07-01T10:51:18Z)
• Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning [55.33984461046492]
  現在、政策に基づく手法が大規模言語モデル(LLM)推論のための強化学習パイプラインを支配している。 本稿では,このアイデアを LLM に自然に適応させるアルゴリズムである Trajectory Bellman Residual Minimization (TBRM) を紹介する。 我々は、軌道の軌道変更-測度分析の改善により、任意のオフ政治から、最適に近いKL正規化政策への収束を証明した。
  論文  参考訳（メタデータ） (2025-05-21T09:41:53Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Rational Metareasoning for Large Language Models [17.479428400594028]
  大きな言語モデル(LLM)を使用するためのコアテクニックとして,推論への関与を促す声が上がっている。 本研究は,認知科学で用いられるメタレゾニングの計算モデルに基づく新しいアプローチを導入する。 我々は不必要な推論を罰することで計算の価値を組み込む報酬関数を開発する。
  論文  参考訳（メタデータ） (2024-10-07T23:48:52Z)
• Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
  大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。 実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。 従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
  論文  参考訳（メタデータ） (2024-08-13T10:15:55Z)
• Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
  言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。 Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。 トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:02:48Z)
• Leveraging Zero-Shot Prompting for Efficient Language Model Distillation [3.4205390087622582]
  本稿では, LLMをより小さく, アプリケーション固有のモデルに効率よく蒸留する方法を提案する。 LLMの推論機能を利用してラベルを生成し、ラベルのないデータに対して自然言語の合理性を生成する。 主な貢献は、教師モデルの合理性を引き出すため、ゼロショットの雇用である。
  論文  参考訳（メタデータ） (2024-03-23T16:51:52Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。