論文の概要: AI Progress Should Be Measured by Capability-Per-Resource, Not Scale Alone: A Framework for Gradient-Guided Resource Allocation in LLMs

• arxiv url: http://arxiv.org/abs/2511.01077v1
• Date: Sun, 02 Nov 2025 20:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.054222
• Title: AI Progress Should Be Measured by Capability-Per-Resource, Not Scale Alone: A Framework for Gradient-Guided Resource Allocation in LLMs
• Title（参考訳）: AIの進歩は、オープンソース毎の能力によって測定されるべきで、スケールは1つではない - LLMにおけるグラディエントなリソース割り当てのためのフレームワーク
• Authors: David McCoy, Yulun Wu, Zachary Butzin-Dozier,
• Abstract要約: AI開発は、機能のみではなく、機能毎のリソースに向けて根本的にリダイレクトされるべきである、と私たちは主張する。 本稿では、勾配の影響パターンによって導かれる資源配分決定が、AIライフサイクル全体を通して劇的に効率を向上させることを実証する理論的枠組みを示す。
• 参考スコア（独自算出の注目度）: 7.850805629833066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This position paper challenges the "scaling fundamentalism" dominating AI research, where unbounded growth in model size and computation has led to unsustainable environmental impacts and widening resource inequality. We argue that LLM development should be fundamentally reoriented toward capability-per-resource rather than capability alone. We present a theoretical framework demonstrating that resource-allocation decisions guided by gradient influence patterns can dramatically improve efficiency throughout the AI lifecycle. Our analysis shows that in transformer-based models, where a small fraction of parameters exert outsized influence (following heavy-tailed distributions), three critical insights emerge: (1) updating only high-influence parameters strictly outperforms full-parameter tuning on a performance-per-resource basis; (2) simple gradient norms provide computationally efficient proxies for identifying these high-influence components; and (3) coordinated parameter and data selection yields multiplicative efficiency gains, potentially reducing resource requirements by orders of magnitude. Building on these theoretical foundations, we propose a two stage paradigm marginal-return pretraining for foundation developers and influence guided adaptation for downstream users bridged by gradient blueprints, metadata describing which parameters matter most for various tasks. This capability-per-resource perspective transforms what were once considered pragmatic hardware workarounds into theoretically optimal strategies, democratizing access to cutting-edge AI capabilities while significantly reducing environmental impact. By embedding resource consciousness into how we develop, adapt, and evaluate models, we can reshape AI progress toward a more sustainable and equitable future.
• Abstract（参考訳）: このポジションペーパーは、モデルサイズと計算の無制限な成長が持続不可能な環境影響をもたらし、リソースの不平等を拡大する、AI研究を支配する「スケーリング基本主義」に挑戦する。 LLM開発は、機能のみではなく、機能毎のリソースに根本的にリダイレクトされるべきである、と私たちは主張する。 本稿では、勾配の影響パターンによって導かれる資源配分決定が、AIライフサイクル全体を通して劇的に効率を向上させることを実証する理論的枠組みを示す。 分析の結果, 少数のパラメータが大きな影響(重み付き分布を追従する)を示すトランスフォーマーモデルでは, 1) 高影響パラメータのみの更新はパフォーマンス・リソースベースでのフルパラメータチューニングを厳密に上回り, 2) 単純な勾配ノルムはこれらの高影響コンポーネントを同定するための計算効率の良いプロキシを提供し, (3) 座標パラメータとデータ選択は乗算効率を向上し, 資源要求を桁違いに削減する可能性が示唆された。 これらの理論基盤を基礎として,ファンデーションディベロッパーのための2段階のパラダイム・ザ・リターン・プレトレーニングを提案し,様々なタスクに最も重要となるパラメータを記述したメタデータである勾配ブループリントで橋渡しされた下流ユーザへの適応を指導する。 この能力/リソースの観点は、かつて実用的ハードウェア回避と考えられていたものを理論的に最適な戦略に転換し、最先端のAI能力へのアクセスを民主化し、環境への影響を著しく低減します。 リソース意識をモデルの開発、適応、評価に組み込むことで、より持続的で公平な未来に向けたAIの進歩を形作ることができます。

関連論文リスト

• Training Large Language Models to Reason via EM Policy Gradient [0.27195102129094995]
  LLM推論を強化するために、政治以外の強化学習アルゴリズムEM Policy Gradientを導入する。 GSM8KとMATH(HARD)データセットに対するEM Policy Gradientの有効性を評価する。 本手法で微調整したモデルでは, サブプロブレム分解, 自己検証, バックトラッキングなどの認知行動を示す。
  論文  参考訳（メタデータ） (2025-04-24T01:31:05Z)
• RDTF: Resource-efficient Dual-mask Training Framework for Multi-frame Animated Sticker Generation [29.340362062804967]
  制約のあるリソースの下では、より小さなビデオ生成モデルをスクラッチからトレーニングすることで、ダウンストリームアプリケーションでより大きなモデル上でパラメータ効率のチューニングより優れている。 サンプルエントロピーを静的かつ適応的なコンポーネントに分解する難易度適応型カリキュラム学習法を提案する。
  論文  参考訳（メタデータ） (2025-03-22T11:28:25Z)
• Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
  我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。 我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。 その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T18:39:41Z)
• Signformer is all you need: Towards Edge AI for Sign Language [0.0]
  我々は手話の性質解析を行い、アルゴリズム設計を知らせ、畳み込みと注目の新規性を備えたスケーラブルなトランスフォーマーパイプラインを提供する。 我々は2024年現在、最高値に対して467-1807xのパラメトリックな減少を達成し、0.57万パラメータの軽量な構成で、他のほとんどのメソッドに勝っている。
  論文  参考訳（メタデータ） (2024-11-19T22:27:53Z)
• Frugal inference for control [2.20480252274709]
  人工知能の進歩の鍵となる課題は、外部の動きとリソース利用の適切なバランスを達成することである。 我々は,POMDPフレームワークのバージョンを開発し,推論によって得られた情報を,タスクのパフォーマンスや動作の労力とともに最適化する必要があるリソースとして扱う。 この研究は、脳と機械の両方が不確実性の下で効果的だが資源効率のよい制御に使用できる新しいタイプの有理計算の基礎を提供する。
  論文  参考訳（メタデータ） (2024-06-20T15:50:38Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• Hindsight Learning for MDPs with Exogenous Inputs [20.556789174972334]
  HL(Hindsight Learning)と呼ばれる資源管理問題に対するデータ効率アルゴリズムのクラスを設計する。 HLアルゴリズムは、重要な洞察を活用することで、データ効率を達成する: 変数のサンプルを持つことで、過去の決定は、政策改善を加速する反実的な結果を予測するために、後から再考することができる。 当社のアルゴリズムは、仮想マシン(VM)を物理マシンに割り当て、大規模なパブリッククラウドプロバイダの実際のデータセットでそのパフォーマンスをシミュレートする、ビジネスクリティカルなクラウドリソース管理問題にスケールします。
  論文  参考訳（メタデータ） (2022-07-13T15:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。