論文の概要: OpenEBFM: Energy-based Foundation Models Are Scalable Architecture

• arxiv url: http://arxiv.org/abs/2610.33005v2
• Date: Thu, 29 Oct 2026 04:59:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:06:26.126282
• Title: OpenEBFM: Energy-based Foundation Models Are Scalable Architecture
• Title（参考訳）: OpenEBFM:エネルギーベースのファンデーションモデルはスケーラブルアーキテクチャ
• Abstract要約: 基礎言語モデリングのためのエネルギーステアリングモデル(ESM)を設計する。 ESMはエネルギーステアリングとトークン生成を単一のアーキテクチャに統合する。 ESMはモデルサイズとトレーニングデータを増やし、ほとんどの下流タスクにおいてGPTを上回っていることを示す。
• 参考スコア（独自算出の注目度）: 29.39333421354416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based models have shown promising properties for domain-specific tasks but remain challenging in modeling general-purpose scenarios. To bridge this gap, we design energy-steered models (ESMs) for foundational language modeling. ESMs integrate energy steering and token generation within a single architecture to leverage the energy-guided search to refine token generation. Specifically, ESMs first optimize a latent state over the energy landscape, then leverages the refined latent state for token generation. By performing such energy-guided pre-training on large-scale corpora, ESMs learn generally effective energy landscape where favorable tokens correspond to lower energy values. To explore the scaling behavior of ESMs, we pre-train ESMs on three large-scale corpora, then evaluate across 26 downstream tasks spanning a broad range of domains. Our results demonstrate that ESMs have promising scaling behaviors with increasing model size and training data, and outperform GPTs on most downstream tasks. These findings highlight ESMs as a promising architecture for large-scale pre-training and general purpose problem solving. We fully release the model weights and training infrastructure to enable the community to completely reproduce and extend our results. GitHub: https://github.com/datamllab/openebfm HuggingFace: https://huggingface.co/collections/guan-wang/openebfm
• Abstract（参考訳）: エネルギーベースのモデルは、ドメイン固有のタスクに対して有望な特性を示してきたが、汎用シナリオのモデリングには依然として挑戦的である。 このギャップを埋めるために、基礎言語モデリングのためのエネルギーステアリングモデル(ESM)を設計する。 ESMは1つのアーキテクチャにエネルギーステアリングとトークン生成を統合し、エネルギー誘導探索を利用してトークン生成を洗練させる。 具体的には、ESMはまずエネルギーランドスケープ上で潜伏状態を最適化し、その後、精細化した潜伏状態をトークン生成に活用する。 大規模なコーパス上でエネルギー誘導による事前訓練を行うことで、ESMはより低いエネルギー値に対応する好ましいトークンが有効なエネルギーランドスケープを学習する。 3つの大規模コーパス上でESMを事前学習し,26の下流タスクから幅広い領域にまたがる評価を行った。 以上の結果から,ESMはモデルサイズやトレーニングデータの増加とともに,多くの下流タスクにおいてGPTよりも優れたスケーリング行動を示す。 これらの知見は、ESMを大規模事前学習および汎用的な問題解決のための有望なアーキテクチャとして強調する。 モデルウェイトとトレーニングインフラストラクチャを完全にリリースし、コミュニティが結果を完全に再現し、拡張できるようにします。 GitHub: https://github.com/datamllab/openebfm HuggingFace: https://huggingface.co/collections/guan-wang/openebfm

関連論文リスト

• GEM: Generative Supervision Helps Embodied Intelligence [60.28190143133428]
  VLM(Embodied Vision-Language Models)は、ロボット工学における優れた性能と一般化を実証している。 標準的なテキスト誘導事前学習パラダイムの高レベルのセマンティックフォーカスと、エンボディ環境での実行に不可欠な低レベルの空間的および物理的知識との間には、大きなギャップが残っている。 我々は、この分割を橋渡しするために設計された、ジェネレーティブ制御されたエンボディード視覚言語モデルであるGEMを紹介する。
  論文  参考訳（メタデータ） (2026-05-27T14:39:42Z)
• FETS Benchmark: Foundation Models Outperform Dataset-specific Machine Learning in Energy Time Series Forecasting [0.39373541926236766]
  広範囲な事前学習を通じて一般化可能なパターンを学習することを目的とした基礎モデルは、複数の予測タスクにおいて優れた性能を示した。 その成功とエネルギー予測の課題に対処する強い可能性にもかかわらず、この領域での彼らの応用はいまだに未解明のままである。
  論文  参考訳（メタデータ） (2026-04-24T08:00:50Z)
• HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents [71.09493646932046]
  本稿では,実世界のエンボディエージェントに特化して設計された基礎モデルのファウンデーションモデルであるHY-Embodied-0.5を紹介する。 HY-Embodied-0.5スイートは、エッジ配置用に設計された2Bアクティベートパラメータを持つ効率的なモデルと、複雑な推論をターゲットとした32Bアクティベートパラメータを持つ強力なモデルである。 私たちのMoT-2Bモデルは16ベンチマークで同等の大きさの最先端モデルより優れていますが、32BはGemini 3.0 Proのようなフロンティアモデルに匹敵するパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2026-04-08T17:59:48Z)
• NRGPT: An Energy-based Alternative for GPT [14.661803594288024]
  エネルギーに基づくモデリングは、推論をエネルギーランドスケープで動作する動的プロセスと見なす異なるパラダイムである。 EBMフレームワークと統合するために,GPT設定の最小限の変更を提案する。 我々のモデルは、単純な言語(Shakespeareデータセット)、代数的なListOPSタスク、OpenWebText言語モデリングのようなよりリッチな設定でうまく機能することを示す。
  論文  参考訳（メタデータ） (2025-12-18T16:59:10Z)
• Physics-Guided Memory Network for Building Energy Modeling [0.7499722271664147]
  本稿では,ディープラーニングモデルと物理モデルからの予測を統合し,それらの制約に対処するニューラルネットワークであるPgMNを紹介する。 PgMNは、スマートグリッドとスマートビルディングシステムにおける運用上の意思決定において重要な、短時間のエネルギー予測で評価された。
  論文  参考訳（メタデータ） (2025-08-05T15:16:19Z)
• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、専門的な深層モデルから汎用的な基礎モデルへと進化してきた。 LLMは、ローカルデータセットの微調整と、ネットワークエッジ上のデプロイメントのためのかなりのメモリを必要とする。 LLMは、画像、オーディオ、ビデオ、マルチモーダルコンテンツを作成するために、テキスト生成を超えて拡張されている。 LLMの持続的成長を支援するため,モデル微調整およびモデル圧縮技術が開発されている。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• Generalized Energy Based Models [35.49065282173972]
  本稿では,ジェネレーティブ・モデリングのための一般エネルギーベース・モデル(GEBM)を紹介する。 エネルギー関数と基底の両方が、基底分布のみを保持するGANとは異なり、最終的なモデルを構成する。 両方のトレーニングステージが明確に定義されていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T23:22:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。