論文の概要: MetaOthello: A Controlled Study of Multiple World Models in Transformers

• arxiv url: http://arxiv.org/abs/2602.23164v1
• Date: Thu, 26 Feb 2026 16:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.771388
• Title: MetaOthello: A Controlled Study of Multiple World Models in Transformers
• Title（参考訳）: MetaOthello: トランスフォーマーにおける多世界モデルの制御に関する研究
• Authors: Aviral Chawla, Galen Hall, Juniper Lovato,
• Abstract要約: Othelloがニューラルネットをプレイする以前の実験は、ワールドモデル学習をテストするが、単一のルールセットを持つ単一のゲームに集中する。 共有構文を持つOthello変種を制御したスイートであるMetaOthelloを紹介した。 混合ゲームデータに基づいてトレーニングされたトランスフォーマーは、キャパシティを独立したサブモデルに分割しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models must handle multiple generative processes, yet mechanistic interpretability largely studies capabilities in isolation; it remains unclear how a single transformer organizes multiple, potentially conflicting "world models". Previous experiments on Othello playing neural-networks test world-model learning but focus on a single game with a single set of rules. We introduce MetaOthello, a controlled suite of Othello variants with shared syntax but different rules or tokenizations, and train small GPTs on mixed-variant data to study how multiple world models are organized in a shared representation space. We find that transformers trained on mixed-game data do not partition their capacity into isolated sub-models; instead, they converge on a mostly shared board-state representation that transfers causally across variants. Linear probes trained on one variant can intervene on another's internal state with effectiveness approaching that of matched probes. For isomorphic games with token remapping, representations are equivalent up to a single orthogonal rotation that generalizes across layers. When rules partially overlap, early layers maintain game-agnostic representations while a middle layer identifies game identity, and later layers specialize. MetaOthello offers a path toward understanding not just whether transformers learn world models, but how they organize many at once.
• Abstract（参考訳）: 基礎モデルは複数の生成過程を扱う必要があるが、機械論的解釈可能性は主に独立して能力を研究する。 Othelloがニューラルネットをプレイする以前の実験は、ワールドモデル学習をテストするが、単一のルールセットを持つ単一のゲームに集中する。 共有構文を持つオセロ変種の制御スイートであるMetaOthelloを導入し、混合変量データ上で小さなGPTを訓練し、複数の世界モデルが共有表現空間でどのように構成されているかを研究する。 混合ゲームデータに基づいてトレーニングされたトランスフォーマーは、キャパシティを独立したサブモデルに分割しない。 ある変種で訓練された線形プローブは、一致したプローブに接近して他の内部状態に干渉することができる。 トークンリマッピングを持つ同型ゲームの場合、表現は層をまたいで一般化する単一の直交回転に等しい。 ルールが部分的に重複する場合、初期レイヤはゲームに依存しない表現を維持し、中間レイヤはゲームの同一性を識別し、後のレイヤは特殊化する。 MetaOthelloは、トランスフォーマーが世界モデルを学ぶかどうかだけでなく、一度に多くのモデルを編成する方法を理解するための道を提供する。

関連論文リスト

• What if Othello-Playing Language Models Could See? [69.77773423053199]
  VISOTHELLO(VISOTHELLO)は、移動シーケンスとボードイメージを併用したマルチモーダルモデルである。 意味的に無関係な摂動下でのロバスト性を評価し, クロスモーダルアライメントの一貫性を解析した。
  論文  参考訳（メタデータ） (2025-07-19T07:47:55Z)
• JoMA: Demystifying Multilayer Transformers via JOint Dynamics of MLP and Attention [36.737750120893516]
  多層トランスフォーマーのトレーニング手順を理解するための新しい数学的枠組みであるジョイント/アテンション(JoMA)ダイナミクスを提案する。 JoMAは、最初に注意が粗くなり(正則なトークンを学ぶために)、次に非線形なアクティベーションの存在下で(より正則なトークンを学ぶために)密集する、と予測する。 入力トークンが潜在階層生成モデルによって生成されるとき、トークンを結合して多層トランスフォーマーの階層を形成する方法を説明するためにJoMAを利用する。
  論文  参考訳（メタデータ） (2023-10-01T01:21:35Z)
• Instruction-Following Agents with Multimodal Transformer [95.70039658112873]
  本稿では,視覚環境下での指示追従課題をロボットが解くための,シンプルで効果的なモデルを提案する。 本手法は,視覚観察と言語指示を符号化したマルチモーダルトランスフォーマーからなる。 この統一型トランスモデルは, シングルタスクとマルチタスクの両方で, 最先端のトレーニング済みあるいは訓練済みのスクラッチ手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-24T17:46:47Z)
• Classical Sequence Match is a Competitive Few-Shot One-Class Learner [15.598750267663286]
  我々は,未知のインスタンスが同一のクラスに属しているかどうかを検出するために,実際に既知のサンプルを参照として用いた,数発のワンクラス問題について検討する。 メタラーニング(メタラーニング)では、古典的なシーケンスマッチング法、すなわちコントラスト・アグリゲートがトランスフォーマーを著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2022-09-14T03:21:47Z)
• Multi-Game Decision Transformers [49.257185338595434]
  そこで本研究では,1つのトランスフォーマーモデルを用いて,最大46個のAtariゲーム群を,人間に近いパフォーマンスで同時にプレイ可能であることを示す。 オンラインやオフラインのRL手法や行動クローンなど,マルチゲーム設定におけるいくつかのアプローチを比較した。 マルチゲーム決定変換モデルは、最高のスケーラビリティとパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2022-05-30T16:55:38Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• AAformer: Auto-Aligned Transformer for Person Re-Identification [82.45385078624301]
  トランスアーキテクチャにおけるアライメント方式を初めて導入する。 本研究では,人体と非人体の両方をパッチレベルで自動的に検出する自動整列トランス (AAformer) を提案する。 AAformerは、部分アライメントを自己アテンションに統合し、出力[PART]を直接検索する機能として使用することができる。
  論文  参考訳（メタデータ） (2021-04-02T08:00:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。