論文の概要: PLDR-LLMs Reason At Self-Organized Criticality

• arxiv url: http://arxiv.org/abs/2603.23539v1
• Date: Thu, 12 Mar 2026 19:09:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.02617
• Title: PLDR-LLMs Reason At Self-Organized Criticality
• Title（参考訳）: PLDR-LLMs、自己組織的臨界に逆らう
• Authors: Burc Gokden,
• Abstract要約: PLDR-LLMは自己組織的臨界度で事前訓練され,推論時に推論結果が得られた。 この結果から,大規模言語モデルにおいて推論がどのように現れるか,自己完結した説明が得られた。
• 参考スコア（独自算出の注目度）: 0.5076419064097734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that PLDR-LLMs pretrained at self-organized criticality exhibit reasoning at inference time. The characteristics of PLDR-LLM deductive outputs at criticality is similar to second-order phase transitions. At criticality, the correlation length diverges, and the deductive outputs attain a metastable steady state. The steady state behaviour suggests that deductive outputs learn representations equivalent to scaling functions, universality classes and renormalization groups from the training dataset, leading to generalization and reasoning capabilities in the process. We can then define an order parameter from the global statistics of the model's deductive output parameters at inference. The reasoning capabilities of a PLDR-LLM is better when its order parameter is close to zero at criticality. This observation is supported by the benchmark scores of the models trained at near-criticality and sub-criticality. Our results provide a self-contained explanation on how reasoning manifests in large language models, and the ability to reason can be quantified solely from global model parameter values of the deductive outputs at steady state, without any need for evaluation of curated benchmark datasets through inductive output for reasoning and comprehension.
• Abstract（参考訳）: PLDR-LLMは自己組織的臨界度で事前訓練され,推論時に推論結果が得られた。 PLDR-LLM縮退出力の臨界特性は2次相転移と類似している。 臨界では、相関長は分岐し、縮退出力は準安定な定常状態に達する。 定常状態の振る舞いは、帰納的出力がトレーニングデータセットからスケーリング関数、普遍性クラス、再正規化グループに相当する表現を学習し、プロセスの一般化と推論能力をもたらすことを示唆している。 次に、推論時にモデルの導出出力パラメータのグローバル統計から順序パラメータを定義する。 PLDR-LLMの推論能力は、その順序パラメータが臨界時にゼロに近い場合よりも優れている。 この観察は、ほぼ臨界度と亜臨界度で訓練されたモデルのベンチマークスコアによって支持される。 本研究では,大規模言語モデルにおける推論がどのように現れるのか,そして推論能力は,推論と理解のためのインダクティブ出力によるベンチマークデータセットの評価を必要とせずに,定常状態における導出出力のグローバルモデルパラメータ値からのみ定量化することができることを示す。

関連論文リスト

• Reasoning Beyond Chain-of-Thought: A Latent Computational Mode in Large Language Models [39.5490415037017]
  CoT(Chain-of-Thought)プロンプトにより,大規模言語モデル(LLM)の推論性能が向上した。 なぜそれが機能するのか、そしてそれが大きな言語モデルで推論をトリガーするユニークなメカニズムであるかどうかは不明だ。
  論文  参考訳（メタデータ） (2026-01-12T23:01:21Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• A Survey of Inductive Reasoning for Large Language Models [55.23215679173251]
  帰納的モードは知識の一般化に不可欠であり、人間の認知とよく一致している。 帰納的推論の重要性にもかかわらず、体系的な要約は存在しない。 本稿では,大規模言語モデルに対する帰納的推論の包括的調査を行う。
  論文  参考訳（メタデータ） (2025-10-11T11:45:38Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• PLDR-LLMs Learn A Generalizable Tensor Operator That Can Replace Its Own Deep Neural Net At Inference [0.0]
  我々は,$mathbfG_LM$ (G-cache) と KV-cache のキャッシュを,推論時間を改善するために簡単な方法で実装可能であることを示す。 我々は,KV-cacheとG-cacheを用いたPLDR-LLMのためのトレーニングおよび推論フレームワークの実装を提供する。
  論文  参考訳（メタデータ） (2025-02-19T07:43:36Z)
• MIRAGE: Evaluating and Explaining Inductive Reasoning Process in Language Models [19.81485079689837]
  帰納的および帰納的段階における大規模言語モデルの能力を評価する。 モデルが正しい帰納的規則を使わずに常に正しい推論を行う傾向があることが分かる。 帰納的推論プロセスでは、モデルは機能空間における現在のテスト例に近い観察された事実に焦点を当てる傾向があります。
  論文  参考訳（メタデータ） (2024-10-12T14:12:36Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• REFINER: Reasoning Feedback on Intermediate Representations [47.36251998678097]
  中間推論を生成するための言語モデルを微調整するフレームワークであるREFINERを紹介する。 REFINERは、推論に対する自動フィードバックを提供する批評家モデルと対話することで機能する。 経験的評価は、同等のスケールのベースラインLMよりも大幅に改善された。
  論文  参考訳（メタデータ） (2023-04-04T15:57:28Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。