Fugu-MT 論文翻訳(概要): Linear Latent World Models in Simple Transformers: A Case Study on Othello-GPT

論文の概要: Linear Latent World Models in Simple Transformers: A Case Study on Othello-GPT

arxiv url: http://arxiv.org/abs/2310.07582v1
Date: Wed, 11 Oct 2023 15:20:07 GMT
ステータス: 処理完了
システム内更新日: 2023-10-12 22:11:14.229721
Title: Linear Latent World Models in Simple Transformers: A Case Study on Othello-GPT
Title（参考訳）: 単純変圧器における線形潜在世界モデル:オセロGPTの事例
Authors: Dean S. Hazineh, Zechen Zhang, Jeffery Chiu
Abstract要約: 本稿は,Othello-GPTの創発的世界モデルの理解を深めるために,Othelloのために訓練された単純なトランスフォーマーを念頭に検討する。調査の結果、Othello-GPTは反対のピースの線形表現をカプセル化しており、その決定過程を因果的に判断する要因であることがわかった。
参考スコア（独自算出の注目度）: 0.9208007322096532
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Foundation models exhibit significant capabilities in decision-making and logical deductions. Nonetheless, a continuing discourse persists regarding their genuine understanding of the world as opposed to mere stochastic mimicry. This paper meticulously examines a simple transformer trained for Othello, extending prior research to enhance comprehension of the emergent world model of Othello-GPT. The investigation reveals that Othello-GPT encapsulates a linear representation of opposing pieces, a factor that causally steers its decision-making process. This paper further elucidates the interplay between the linear world representation and causal decision-making, and their dependence on layer depth and model complexity. We have made the code public.
Abstract（参考訳）: 基礎モデルは意思決定と論理的推論において重要な能力を示す。それでも、ただの確率的模倣とは対照的に、世界に対する真の理解についての議論が続いている。本稿は,Othello-GPTの創発的世界モデルの理解を深めるために,Othelloのために訓練された単純なトランスフォーマーを慎重に検討する。調査の結果、Othello-GPTは反対のピースの線形表現をカプセル化しており、その決定過程を因果的に判断する要因であることがわかった。本稿では,線形世界表現と因果決定の相互作用と,層深度とモデル複雑性への依存性をさらに解明する。コードを公開しました。

関連論文リスト

Is Sora a World Simulator? A Comprehensive Survey on General World Models and Beyond [101.15395503285804]
一般世界モデルは、人工知能(AGI)の実現への決定的な道のりを表現している本調査では,世界モデルの最新動向を包括的に調査する。我々は,世界モデルの課題と限界について検討し,今後の方向性について考察する。
論文参考訳（メタデータ） (2024-05-06T14:37:07Z)
CAGE: Causality-Aware Shapley Value for Global Explanations [4.017708359820078]
AIモデルを説明する1つの方法は、AIモデルに対する入力機能の予測的重要性を明らかにすることである。協調ゲーム理論に触発されたシェープリーは、特徴の重要性を説明として定量化する便利な方法を提供する。特に、入力特徴の因果関係を尊重する外部特徴に対する新しいサンプリング手順を導入する。
論文参考訳（メタデータ） (2024-04-17T09:43:54Z)
On the Origins of Linear Representations in Large Language Models [51.88404605700344]
我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
論文参考訳（メタデータ） (2024-03-06T17:17:36Z)
Towards an Understanding of Stepwise Inference in Transformers: A Synthetic Graph Navigation Model [19.826983068662106]
本稿では,ステップワイズ推論が一般的に有用である問題の多段階の性質を具現化した,自動回帰変換器モデルを提案する。単純さにもかかわらず、私たちは経験的に、大規模に観察されたいくつかの現象を再現し分析することができることに気付きました。
論文参考訳（メタデータ） (2024-02-12T16:25:47Z)
AttnLRP: Attention-Aware Layer-Wise Relevance Propagation for Transformers [14.147646140595649]
大きな言語モデルは、バイアスのある予測と幻覚の傾向があります。ブラックボックストランスモデルの完全性への忠実な貢献と計算効率の維持は未解決の課題である。
論文参考訳（メタデータ） (2024-02-08T12:01:24Z)
Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文参考訳（メタデータ） (2023-09-02T22:14:26Z)
Motif-guided Time Series Counterfactual Explanations [1.1510009152620664]
本稿では,ポストホックな反事実的説明を直感的に生成する新しいモデルを提案する。 UCRリポジトリから5つの実世界の時系列データセットを用いてモデルを検証した。
論文参考訳（メタデータ） (2022-11-08T17:56:50Z)
Coalescing Global and Local Information for Procedural Text Understanding [70.10291759879887]
完全な手続き的理解ソリューションは、入力のローカル・グローバル・ビューとアウトプットのグローバル・ビューの3つの中核的な側面を組み合わせるべきである。本稿では,エンティティと時間表現を構築する新しいモデルであるCoalescing Global and Local InformationCGを提案する。一般的な手続き的テキスト理解データセットの実験は、我々のモデルが最先端の結果を得ることを示す。
論文参考訳（メタデータ） (2022-08-26T19:16:32Z)
Abstract Interpretation for Generalized Heuristic Search in Model-Based Planning [50.96320003643406]
ドメイン・ジェネラル・モデル・ベース・プランナーは、しばしば記号的世界モデルの緩和を通じて探索を構築することによって一般性を導出する。抽象解釈がこれらの抽象化の統一フレームワークとして機能し、よりリッチな世界モデルに探索の範囲を広げる方法について説明する。また、これらは学習と統合することができ、エージェントは抽象的な情報を通じて、新しい世界のモデルで計画を開始することができる。
論文参考訳（メタデータ） (2022-08-05T00:22:11Z)
Structural Causal Models Reveal Confounder Bias in Linear Program Modelling [26.173103098250678]
この現象が自然界においてより一般的なものなのか、つまり古典的な分類タスク以外の敵型攻撃なのかを考察する。具体的には,線形プログラム(LP)の基本クラスを考える。構造因果モデル(SCM)のその後のLP最適化に対する直接的な影響を示す。
論文参考訳（メタデータ） (2021-05-26T17:19:22Z)
Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
論文参考訳（メタデータ） (2020-08-15T21:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。