論文の概要: BriLLM-MetaPred: A Representation-Prediction Unity Language Model with Adaptive Self-Measurement

• arxiv url: http://arxiv.org/abs/2610.34018v1
• Date: Sun, 25 Oct 2026 03:08:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.518252
• Title: BriLLM-MetaPred: A Representation-Prediction Unity Language Model with Adaptive Self-Measurement
• Title（参考訳）: BriLLM-MetaPred:適応型自己測定を用いた表現予測単位言語モデル
• Abstract要約: BriLLM-MetaPredはMetaPred機械学習フレームワークの最初のエンジニアリング実装である。 連続的に進化する動的状態は、コンテキスト表現と予測が読み出される状態の両方として機能する。
• 参考スコア（独自算出の注目度）: 28.011009534342875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present BriLLM-MetaPred, the first engineering implementation of the MetaPred machine-learning framework established by a mathematical theory of AGI, instantiated for language modeling. The theory argues that MetaPred is both necessary and sufficient as a machine-learning primitive for general cognition. Taking this theoretical conclusion as a design premise, we report an implementation of the primitive for language modeling. A single continuously evolving dynamical state serves as both the context representation and the state from which predictions are read out. Continuous measurement of its own state reduces finite-depth inconsistency, maintains internal consistency, and provides an endogenous dynamical self-supervision signal in fixed-point form. The single dynamical state of MetaPred intrinsically couples training and inference. MetaPred therefore exhibits symmetry across almost all key elements of machine learning, an intuitive and observable property of the mathematical optimum over the space of all machine-learning paradigms. BriLLM-MetaPred is neither another recurrent language model nor an extension of BriLLM. It provides a bridge between two prior contributions: the construction and motivation of the MetaPred primitive provided by AGI theory, and the SiFu learning paradigm provided by BriLLM (Zhao et al., 2025). The latter's node-signal-flow design enables the primitive to run on available software and hardware accelerators. Our implementation of BriLLM-MetaPred achieves predictive performance comparable to a GPT baseline of the same size. This provides initial evidence for the engineering feasibility of the MetaPred framework established by the mathematical theory of AGI. MetaPred is the first machine-learning paradigm derived entirely from mathematical theory rather than assembled and incrementally improved through human design---and perhaps the last such paradigm.
• Abstract（参考訳）: 本稿では,AGIの数学的理論によって確立されたMetaPred機械学習フレームワークの最初のエンジニアリング実装である BriLLM-MetaPred について述べる。 この理論は、MetaPredは一般認知のための機械学習プリミティブとして必要かつ十分であると主張している。 本稿では,この理論的な結論を設計の前提として,言語モデリングのためのプリミティブの実装について報告する。 連続的に進化する動的状態は、コンテキスト表現と予測が読み出される状態の両方として機能する。 自己状態の連続測定は有限深度の不整合を減少させ、内部の整合性を維持し、固定点形式の内在的動的自己超越信号を提供する。 MetaPredの単一の動的状態は、本質的にはトレーニングと推論を結合する。 そこでMetaPredは、すべての機械学習パラダイムの空間上の数学的最適化の直感的で観測可能な特性である、機械学習のほとんどすべての重要な要素に対称性を示す。 BriLLM-MetaPred は、他のリカレント言語モデルや BriLLM の拡張ではない。 これは、AGI理論によって提供されるMetaPredプリミティブの構築とモチベーションと、BriLLMによって提供されるSiFu学習パラダイム(Zhao et al , 2025)の間の橋渡しを提供する。 後者のノード信号フロー設計により、プリミティブは利用可能なソフトウェアやハードウェアアクセラレータ上で動作することができる。 BriLLM-MetaPredの実装は,同じサイズのGPTベースラインに匹敵する予測性能を実現する。 このことは、AGIの数学的理論によって確立されたMetaPredフレームワークの工学的実現可能性の最初の証拠となる。 MetaPredは、人間の設計によって組み立てられ、漸進的に改善されるのではなく、数学的理論から完全に派生した最初の機械学習パラダイムである。

関連論文リスト

• In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics [109.99871326497333]
  In-Context Model Predictive Generation (ICMPG)は、言語モデル計画と推論時の物理的フィードバックを統合するフレームワークである。 ICMPGは2つのモジュールでモデル予測制御(MPC)のようなプロセスとして運動合成を再構成する。
  論文  参考訳（メタデータ） (2026-06-25T12:50:33Z)
• The Meta-Prompting Protocol: Orchestrating LLMs via Adversarial Feedback Loops [0.6345523830122167]
  Meta-Prompt Protocolは、プログラム可能な自己最適化システムとして、大規模言語モデルのオーケストレーションを形式化する。 自然言語命令を意味グラフ内の微分可能な変数として扱い、テキストの批判を勾配として利用することにより、幻覚を緩和し、モデル崩壊を防ぐ。
  論文  参考訳（メタデータ） (2025-12-17T03:32:21Z)
• Meta-Learning Neural Mechanisms rather than Bayesian Priors [4.451173777061901]
  フォーマルな言語のメタラーニングについて検討し、従来の主張に反してメタトレーニングモデルは単純さに基づく事前学習をしていないことを発見した。 メタトレーニングが、下流タスクにおけるネットワークの認知的プリミティブのように機能するニューラルメカニズムをモデルにインプリントする証拠を見つける。
  論文  参考訳（メタデータ） (2025-03-20T11:33:59Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• MetaSym: A Symplectic Meta-learning Framework for Physical Intelligence [8.047222674695288]
  本稿では,新しいディープラーニングフレームワークMetaSymを紹介する。 特に、MetaSymはシンプレクティックエンコーダと自己回帰デコーダから得られる強いシンプレクティックインダクティブバイアスをメタアテンションと組み合わせている。 この原理的な設計は、コアの物理的不変性を保ちつつ、フレキシブルでデータ効率の良いシステム不均一性への適応を可能にする。
  論文  参考訳（メタデータ） (2025-02-23T17:52:07Z)
• Metadata Conditioning Accelerates Language Model Pre-training [76.54265482251454]
  そこで本研究では,Metadata Conditioning then Cooldown (MeCo) と呼ばれる新しい手法を提案する。 MeCoは、さまざまなモデルスケール(600Mから8Bパラメータ)とトレーニングソース(C4、RefinedWeb、DCLM)の事前トレーニングを著しく加速する MeCoは驚くほどシンプルで、計算オーバーヘッドを追加せず、より有能でステアブルな言語モデルを生成するという約束を示す。
  論文  参考訳（メタデータ） (2025-01-03T18:59:23Z)
• Context-Aware Meta-Learning [52.09326317432577]
  本研究では,大規模言語モデルのエミュレートを行うメタ学習アルゴリズムを提案する。 我々のアプローチは、11のメタラーニングベンチマークのうち8つで最先端のアルゴリズムであるP>M>Fを上回り、一致します。
  論文  参考訳（メタデータ） (2023-10-17T03:35:27Z)
• Meta-SysId: A Meta-Learning Approach for Simultaneous Identification and Prediction [34.83805457857297]
  本稿では,メタ・シズIdを提案する。メタ・シズIdは,一般的だが未知の法則によって支配されるメタ・ラーニングの手法であり,その文脈によって自分自身を区別する。 回帰、時系列予測、モデルベース制御、実世界の交通予測ドメインでMeta-SysIdをテストする。
  論文  参考訳（メタデータ） (2022-06-01T18:04:22Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。