論文の概要: Task Ecologies and the Evolution of World-Tracking Representations in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.05469v1
• Date: Tue, 07 Apr 2026 06:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.652167
• Title: Task Ecologies and the Evolution of World-Tracking Representations in Large Language Models
• Title（参考訳）: タスクエコロジーと大規模言語モデルにおける世界追跡表現の進化
• Authors: Giulio Valentino Dalla Riva,
• Abstract要約: 本研究では,言語モデルを進化型モデル生物として研究し,自己回帰学習が世界追跡表現をいつ選択するかを問う。 潜在世界状態の符号化について、ベイズ最適次トーケンクロスエントロピーは、既約条件エントロピーとジェンセン-シャノン過剰項に分解される。 これにより、言語モデルに対する生態学的検証性の正確な概念が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study language models as evolving model organisms and ask when autoregressive next-token learning selects for world-tracking representations. For any encoding of latent world states, the Bayes-optimal next-token cross-entropy decomposes into the irreducible conditional entropy plus a Jensen--Shannon excess term. That excess vanishes if and only if the encoding preserves the training ecology's equivalence classes. This yields a precise notion of ecological veridicality for language models and identifies the minimum-complexity zero-excess solution as the quotient partition by training equivalence. We then determine when this fixed-encoding analysis applies to transformer families: frozen dense and frozen Mixture-of-Experts transformers satisfy it, in-context learning does not enlarge the model's separation set, and per-task adaptation breaks the premise. The framework predicts two characteristic failure modes: simplicity pressure preferentially removes low-gain distinctions, and training-optimal models can still incur positive excess on deployment ecologies that refine the training ecology. A conditional dynamic extension shows how inter-model selection and post-training can recover such gap distinctions under explicit heredity, variation, and selection assumptions. Exact finite-ecology checks and controlled microgpt experiments validate the static decomposition, split-merge threshold, off-ecology failure pattern, and two-ecology rescue mechanism in a regime where the relevant quantities are directly observable. The goal is not to model frontier systems at scale, but to use small language models as laboratory organisms for theory about representational selection.
• Abstract（参考訳）: 本研究では,言語モデルを進化型モデル生物として研究し,自己回帰学習が世界追跡表現をいつ選択するかを問う。 潜在世界状態の符号化について、ベイズ最適次トーケンクロスエントロピーは、既約条件エントロピーとジェンセン-シャノン過剰項に分解される。 この余剰は、エンコーディングが訓練生態学の同値クラスを保存する場合に限って消滅する。 これにより、言語モデルに対する生態的検証性の正確な概念が得られ、最小複雑度ゼロ過剰解を訓練等価性による商分割として特定する。 次に、この固定符号化解析がトランスファミリに適用される時期を決定する: 冷凍濃密・凍結混合エキスパート変換器はそれを満足し、コンテキスト内学習はモデルの分離集合を拡大せず、タスクごとの適応が前提を破る。 このフレームワークは、2つの特徴的な障害モードを予測している: 単純さの圧力が優先的に低利得の区別を除去し、トレーニング最適化モデルは、トレーニングエコロジーを洗練させるデプロイメントエコロジーにプラスの過剰を発生させることができる。 条件付き動的拡張は、モデル間の選択と後訓練が、明示的な遺伝、変異、選択の仮定の下で、そのようなギャップの区別を回復する方法を示す。 厳密な有限生態チェックと制御されたマイクロgpt実験は、関連する量が直接観測可能な状態において、静的分解、分割マージしきい値、オフエコロジー障害パターン、および2エコロジー救済機構を検証する。 目的は、大規模にフロンティアシステムをモデル化するのではなく、小さな言語モデルを実験室の生物として使用し、表現的選択の理論を構築することである。

関連論文リスト

• From Pheromones to Policies: Reinforcement Learning for Engineered Biological Swarms [0.0]
  本研究では, フェロモンを介するセロモン凝集と強化学習(RL)の理論的等価性を確立する。 我々は,フェロモンが数学的に相互学習の更新を反映していることを示し,捕食作業を行う線虫群をモデル化した。 この結果から, 環境信号が外部メモリとして機能する分散RLプロセスは, スティグマイシン系が本質的にコード化されていることが示唆された。
  論文  参考訳（メタデータ） (2025-09-24T13:16:35Z)
• Principled model selection for stochastic dynamics [0.0]
  オーバーフィッティングは、個々のモデルの複雑さだけでなく、可能なモデルの成長からも生じることを示す。 PASTIS(Parsimonious Inference, Parsimonious Inference)は、超流動パラメータを抑えるために、極値理論と確率推定を組み合わせた原理的手法である。
  論文  参考訳（メタデータ） (2025-01-17T18:23:16Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Bayesian Learning of Coupled Biogeochemical-Physical Models [28.269731698116257]
  海洋生態系の予測モデルは、様々なニーズに使われている。 希少な測定と海洋プロセスの理解が限られているため、かなりの不確実性がある。 候補モデルの空間での処理と新しいモデルの発見を可能にするベイズモデル学習手法を開発した。
  論文  参考訳（メタデータ） (2022-11-12T17:49:18Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。