論文の概要: What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models

• arxiv url: http://arxiv.org/abs/2507.06952v1
• Date: Wed, 09 Jul 2025 15:36:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.644693
• Title: What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models
• Title（参考訳）: インダクティブバイアス(inductive Bias)による世界モデル探索
• Authors: Keyon Vafa, Peter G. Chang, Ashesh Rambachan, Sendhil Mullainathan,
• Abstract要約: 本研究では,合成データセットへの適応性を評価する基礎モデルの評価手法を開発した。 基礎モデルはトレーニングタスクに優れるが、新しいタスクに適応すると、基礎となる世界モデルに対する帰納的バイアスを発生させることができない。
• 参考スコア（独自算出の注目度）: 3.394160022376002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are premised on the idea that sequence prediction can uncover deeper domain understanding, much like how Kepler's predictions of planetary motion later led to the discovery of Newtonian mechanics. However, evaluating whether these models truly capture deeper structure remains a challenge. We develop a technique for evaluating foundation models that examines how they adapt to synthetic datasets generated from some postulated world model. Our technique measures whether the foundation model's inductive bias aligns with the world model, and so we refer to it as an inductive bias probe. Across multiple domains, we find that foundation models can excel at their training tasks yet fail to develop inductive biases towards the underlying world model when adapted to new tasks. We particularly find that foundation models trained on orbital trajectories consistently fail to apply Newtonian mechanics when adapted to new physics tasks. Further analysis reveals that these models behave as if they develop task-specific heuristics that fail to generalize.
• Abstract（参考訳）: 基礎モデルは、ケプラーの惑星運動の予測が後にニュートン力学の発見に繋がったのと同様に、シーケンス予測が深い領域理解を明らかにすることができるという考えに基づいている。 しかし、これらのモデルが真に深い構造を捉えているかどうかを評価することは依然として困難である。 本研究では,仮定された世界モデルから生成された合成データセットへの適応性を評価する基礎モデルの評価手法を開発した。 本手法は, 基礎モデルの帰納バイアスが世界モデルと一致しているかを測定するため, 帰納バイアスプローブとして言及する。 複数の領域にまたがって、ファンデーションモデルはトレーニングタスクに優れるが、新しいタスクに適応すると、基礎となる世界モデルに対する帰納的バイアスを発生させることができない。 特に、軌道軌道上で訓練された基礎モデルは、新しい物理課題に適応する際にニュートン力学を適用することに一貫して失敗する。 さらなる分析により、これらのモデルが一般化に失敗するタスク固有のヒューリスティックを開発するかのように振る舞うことが分かる。

関連論文リスト

• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
  我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。 我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
  論文  参考訳（メタデータ） (2024-06-17T06:20:39Z)
• Evaluating the World Model Implicit in a Generative Model [7.317896355747284]
  最近の研究は、大きな言語モデルが暗黙的に世界モデルを学ぶことを示唆している。 これには、単純な論理的推論、地理的ナビゲーション、ゲームプレイング、化学といった問題が含まれる。 我々は,古典的なマイヒル・ネローデ定理に触発された世界モデル回復のための新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2024-06-06T02:20:31Z)
• MAGIC: Modular Auto-encoder for Generalisable Model Inversion with Bias Corrections [0.19241821314180374]
  我々は、標準オートエンコーダのデコーダステージを物理モデルに置き換え、バイアス補正層で置き換える。 この一般化可能なアプローチは、モデルを同時に反転させ、バイアスの性質について強い仮定をすることなく、そのバイアスをエンドツーエンドで補正する。 我々の手法は、バイアスを明示的にフィルタリングすることなく、古典的なアプローチの結果に一致または超えます。
  論文  参考訳（メタデータ） (2024-05-29T10:11:10Z)
• Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
  我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。 物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。 本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
  論文  参考訳（メタデータ） (2023-04-25T15:53:45Z)
• Inductive biases in deep learning models for weather prediction [17.061163980363492]
  我々は、最先端のディープラーニングに基づく天気予報モデルの誘導バイアスをレビューし分析する。 我々は、最も重要な帰納バイアスを特定し、より効率的で確率的なDLWPモデルへの潜在的な道のりを明らかにする。
  論文  参考訳（メタデータ） (2023-04-06T14:15:46Z)
• Predicting and Enhancing the Fairness of DNNs with the Curvature of Perceptual Manifolds [44.79535333220044]
  近年の研究では、テールクラスは必ずしも学習が困難ではないことが示されており、サンプルバランスのデータセットではモデルバイアスが観察されている。 本研究ではまず,モデルフェアネスを解析するための幾何学的視点を確立し,次いで,一連の幾何学的測度を体系的に提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:49:23Z)
• A Mathematical Framework for Learning Probability Distributions [0.0]
  生成的モデリングと密度推定は 近年 非常にポピュラーな話題になっています 本論文は、すべての有名なモデルを単純な原理に基づいて導出できる数学的枠組みを提供する。 特に,これらのモデルが訓練中に暗黙的な正規化を楽しむことを証明し,早期停止時の一般化誤差が次元性の呪いを避ける。
  論文  参考訳（メタデータ） (2022-12-22T04:41:45Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。