論文の概要: Scaling Laws for State Dynamics in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.14892v1
• Date: Tue, 20 May 2025 20:38:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.743001
• Title: Scaling Laws for State Dynamics in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける状態ダイナミクスのスケーリング法則
• Abstract要約: 大規模言語モデル(LLM)は、内部状態追跡を必要とするタスクでますます使われるようになっている。 LLMが3つの領域(Box Tracking, Abstract DFA Sequences, Complex Text Games)にまたがる決定論的状態ダイナミクスをいかにうまく捉えているかを評価する。 タスク全体にわたって、次の状態予測精度は、状態空間のサイズとスパース遷移の増加とともに低下する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly used in tasks requiring internal state tracking, yet their ability to model state transition dynamics remains poorly understood. We evaluate how well LLMs capture deterministic state dynamics across 3 domains: Box Tracking, Abstract DFA Sequences, and Complex Text Games, each formalizable as a finite-state system. Across tasks, we find that next-state prediction accuracy degrades with increasing state-space size and sparse transitions. GPT-2 XL reaches about 70% accuracy in low-complexity settings but drops below 30% when the number of boxes or states exceeds 5 or 10, respectively. In DFA tasks, Pythia-1B fails to exceed 50% accuracy when the number of states is > 10 and transitions are < 30. Through activation patching, we identify attention heads responsible for propagating state information: GPT-2 XL Layer 22 Head 20, and Pythia-1B Heads at Layers 10, 11, 12, and 14. While these heads successfully move relevant state features, action information is not reliably routed to the final token, indicating weak joint state-action reasoning. Our results suggest that state tracking in LLMs emerges from distributed interactions of next-token heads rather than explicit symbolic computation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、内部の状態追跡を必要とするタスクでますます使われているが、状態遷移のダイナミクスをモデル化する能力は理解されていない。 有限状態系として形式化可能なボックス追跡, 抽象DFAシーケンス, 複合テキストゲームという3つの領域にわたる決定論的状態ダイナミクスをLLMがいかにうまく捉えるかを評価する。 タスク全体にわたって、次の状態予測精度は、状態空間のサイズとスパース遷移の増加とともに低下する。 GPT-2 XLは低複雑さ設定で約70%の精度に達するが、ボックス数や状態が5または10を超えると30%以下に低下する。 DFAタスクでは、Pythia-1B は状態数が > 10 で遷移が 30 未満の場合、50% 以上の精度を達成できない。 GPT-2 XL Layer 22 Head 20, Pythia-1B Heads at Layers 10, 11, 12, 14。 これらのヘッドは関連する状態の特徴をうまく移動させるが、アクション情報は最終的なトークンに確実にルーティングされず、弱い結合状態の推論を示す。 この結果から, LLMにおける状態追跡は, 明示的な記号計算ではなく, 次トーケンヘッドの分散相互作用から生じることが示唆された。

関連論文リスト

• EvolveScaler: Synthesizing Information-Evolution Contexts via Executable State Machines and Natural-Language Rendering [57.87517047585447]
  我々はEvolveScalerを紹介した。EvolveScalerはコード駆動のフレームワークで、自然言語としてレンダリングする前に情報進化を定義する。 EvolveScalerを117のタスクプロトタイプと159のファイナルクエスト演算子でインスタンス当たり約7～1200のイベントにまたがる5つの難易度でインスタンス化する。 very_longティアでは、最強のモデルが59.3%のavg@5に達し、6つのモデルが10%以下である。
  論文  参考訳（メタデータ） (2026-09-08T08:40:05Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models [0.0]
  シーケンスモデルは、位置をまたいで情報をルーティングするメカニズムであるバックボーンによって区別される。 本論文は、バックボーンに先立って、ほぼ全ての現行モデルで共有される選択を異にする。 量子論の数学から引き出された複素値の代替法について検討し、そこでは状態の位相によって情報を伝達する。
  論文  参考訳（メタデータ） (2026-08-07T15:12:36Z)
• How Should Vision-Language-Action Models Use Proprioceptive State? [35.40626817552107]
  最近のVision-Language-Actionモデルは、ほとんど普遍的にロボットの受容状態を入力として取り込むが、互換性のない方法で結ぶ。 1)現在の状態がクローズドループ制御を実際に改善するかどうか、(2)状態履歴がどの程度役立つか、そしてその利点が条件付け能力の追加よりも真の時間的変動を反映しているか、という3つの疑問が残る。 フローマッチングVLAの制御実験,バックボーンの修正,トレーニングデータ,アクション表現,評価プロトコルなどを通じて,これらの疑問に答える。
  論文  参考訳（メタデータ） (2026-08-04T03:05:47Z)
• Will Scaling Improve Social Simulation with LLMs? [87.15677770205751]
  大規模言語モデル(LLM)の社会シミュレーションは有望な研究手法であるが,広く採用されるほど忠実ではない。 スケーリング法則を用いて, LLMの計算規模, 一般能力ベンチマーク, 社会シミュレーションの忠実度との関係について検討する。
  論文  参考訳（メタデータ） (2026-07-02T17:30:38Z)
• Chess-World-Model: A 10M-Game Benchmark for Exact State Tracking from Chess Move Sequences [2.7214777196418645]
  我々は1000万の実際のチェスゲームから構築された大規模ステートトラッキングベンチマークであるChess-World-Modelを紹介した。 我々は、負の固有値を持つ因果変換器、ブロック対角SLiCE、Mamba-3、Gated DeltaNetをベンチマークする。 リアルゲームのパフォーマンスは1800万以上のパラメータで飽和するが、ランダムな一様分割は最大4000万まで差別的であり、それ以外はスケールによって隠された失敗を露呈する。
  論文  参考訳（メタデータ） (2026-05-28T15:43:31Z)
• Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
  集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。 最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
  論文  参考訳（メタデータ） (2026-05-15T03:31:51Z)
• Rethinking State Tracking in Recurrent Models Through Error Control Dynamics [26.942965240880515]
  本研究では,アフィン再帰ネットワークが状態表現を保存すると,状態分離部分空間の誤りを訂正できないことを示す。 我々は、ロバストな状態追跡がアーキテクチャの理論的表現性だけでなく、エラー制御によって決定されることを証明した。
  論文  参考訳（メタデータ） (2026-05-08T13:59:15Z)
• Self-Improving World Modelling with Latent Actions [53.93276450137471]
  世界の内部モデリングは推論と計画に不可欠である。 状態のみのシーケンスから学習する自己改善フレームワークSWIRLを提案する。
  論文  参考訳（メタデータ） (2026-02-05T19:04:41Z)
• Exploring State Tracking Capabilities of Large Language Models [13.637023481961926]
  大きな言語モデル(LLM)は、複雑なタスクを解くのに素晴らしい能力を示しています。 本稿では、複数のエンティティを管理する状態をモデルが追跡する必要がある問題である状態追跡に焦点を当てる。
  論文  参考訳（メタデータ） (2025-11-13T16:25:32Z)
• Relative Scaling Laws for LLMs [91.73497548097775]
  スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。 相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。 これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
  論文  参考訳（メタデータ） (2025-10-28T16:55:22Z)
• STATUS Bench: A Rigorous Benchmark for Evaluating Object State Understanding in Vision-Language Models [28.438936778310865]
  対象状態の微妙な変化を理解するための視覚言語モデルの有効性を厳格に評価する最初のベンチマークであるSTATUS Benchを紹介する。 STATUS Benchは、オブジェクト状態識別(OSI)、画像検索(IR)、状態変化識別(SCI)の3つのタスクを同時に実行するためにVLMを必要とする。 さらに,1300万の半自動記述からなる大規模トレーニングデータセットSTATUS Trainを導入する。
  論文  参考訳（メタデータ） (2025-10-26T08:04:28Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Multi-Granular Discretization for Interpretable Generalization in Precise Cyberattack Identification [0.0]
  解釈可能な一般化(IG)メカニズムはコヒーレントパターンの学習に使用される。 IG-MDはいくつかのガウスの解像度で全ての連続的な特徴を表す。 UKM-IDS20では、IG-MDは9回の列車試験で4ポイント以上の精度を引き上げている。
  論文  参考訳（メタデータ） (2025-07-16T12:57:38Z)
• Augmenting Multi-Agent Communication with State Delta Trajectory [31.127137626348098]
  本稿では,自然言語トークンとトークンワイド状態遷移トラジェクトリの両方をひとつのエージェントから別のエージェントに転送する新しい通信プロトコルを提案する。 それぞれのトークンを生成した後のLSMの状態変化のシーケンスは、推論プロセスの裏側に隠された情報をよりよく反映できることがわかった。 実験の結果,SDEを用いたマルチエージェントシステムでは,他の通信プロトコルと比較してSOTAの性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2025-06-24T00:38:25Z)
• (How) Do Language Models Track State? [50.516691979518164]
  トランスフォーマー言語モデル(LM)は、進化している世界の未観測状態を追跡する必要があるように見える振る舞いを示す。 順列を構成するために訓練された、あるいは微調整されたLMにおける状態追跡について検討した。 LMは2つの状態追跡機構のうちの1つを一貫して学習していることを示す。
  論文  参考訳（メタデータ） (2025-03-04T18:31:02Z)
• Finite State Automata Inside Transformers with Chain-of-Thought: A Mechanistic Study on State Tracking [41.3496135369579]
  CoT(Chain-of-Thought)は、幅広いタスクにわたる大規模言語モデル(LLM)の性能を大幅に向上させる。 本研究では,Transformer+CoTとその変種の状態追跡機能の評価を行い,CoTの有効性を確認した。 圧縮と区別という2つの指標を提案し、各状態のニューロンセットが100%近い精度を達成することを示す。
  論文  参考訳（メタデータ） (2025-02-27T14:24:51Z)
• States Hidden in Hidden States: LLMs Emerge Discrete State Representations Implicitly [72.24742240125369]
  本稿では,チェーン・オブ・ステップ・バイ・ステップの解に頼らずに,拡張された計算列を実行する本質的な能力を明らかにする。 注目すべきは、最も先進的なモデルでは、2桁の加算結果を直接出力できることだ。
  論文  参考訳（メタデータ） (2024-07-16T06:27:22Z)
• The Remarkable Robustness of LLMs: Stages of Inference? [5.346230590800585]
  本研究では,Large Language Models (LLM) の構造的介入に対するロバスト性について検討する。 驚くべきことに、モデルは微調整なしでオリジナルのトップ1予測精度の72-95%を維持している。
  論文  参考訳（メタデータ） (2024-06-27T17:57:03Z)
• Multistep Inverse Is Not All You Need [87.62730694973696]
  実世界の制御環境では、観測空間は不要に高次元であり、時間関連ノイズにさらされることが多い。 したがって、観測空間を制御関連変数のより単純な空間にマッピングするエンコーダを学ぶことが望ましい。 本稿では,多段階逆予測と遅延フォワードモデルを組み合わせた新しいアルゴリズムACDFを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:36:01Z)
• OpenPI-C: A Better Benchmark and Stronger Baseline for Open-Vocabulary State Tracking [55.62705574507595]
  OpenPIは、オープン語彙状態トラッキング用に注釈付けされた唯一のデータセットである。 手順レベル,ステップレベル,状態変化レベルの3つの問題を分類する。 評価指標として,クラスタベースの計量法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T16:48:20Z)
• Scalable Experimental Bounds for Entangled Quantum State Fidelities [0.0]
  ノイズ量子(NISQ)デバイス上での高絡み合い状態の状態準備忠実度の推定は、ベンチマークや応用上の考慮において重要である。 この作業は、NISQデバイスのサイズと品質が向上するにつれて、ベンチマークへの道筋を提供する。
  論文  参考訳（メタデータ） (2022-10-06T16:52:45Z)
• A Contextual Hierarchical Attention Network with Adaptive Objective for Dialogue State Tracking [63.94927237189888]
  本稿では,コンテキスト階層型アテンションネットワークを用いて対話状態追跡(DST)を強化することを提案する。 また,訓練中に異なるスロットの重みを動的に調整することでスロット不均衡問題を緩和する適応的目標を提案する。 実験の結果,MultiWOZ 2.0とMultiWOZ 2.1データセットでは52.68%,58.55%のジョイント精度が得られた。
  論文  参考訳（メタデータ） (2020-06-02T12:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。