Fugu-MT 論文翻訳(概要): A Causal World Model Underlying Next Token Prediction in GPT

論文の概要: A Causal World Model Underlying Next Token Prediction in GPT

arxiv url: http://arxiv.org/abs/2412.07446v2
Date: Sun, 09 Mar 2025 15:02:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 15:50:05.589084
Title: A Causal World Model Underlying Next Token Prediction in GPT
Title（参考訳）: GPTにおける次トーケン予測に基づく因果世界モデル
Authors: Raanan Y. Rohekar, Yaniv Gurwicz, Sungduk Yu, Estelle Aflalo, Vasudev Lal,
Abstract要約: GPT(Generative Pre-trained Transformer)モデルは、実世界のゲームにおいて、勝利を意図してテストされる。 GPTモデルは、注意機構に因果構造がエンコードされるシーケンスのゲームルールに準拠する動作を生成する可能性が高い。一般に、GPTモデルがゲームルールに従わない動作を生成する場合、因果構造を捕捉できない。
参考スコア（独自算出の注目度）: 5.156443267442059
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Are generative pre-trained transformer (GPT) models only trained to predict the next token, or do they implicitly learn a world model from which a sequence is generated one token at a time? We examine this question by deriving a causal interpretation of the attention mechanism in GPT, and suggesting a causal world model that arises from this interpretation. Furthermore, we propose that GPT-models, at inference time, can be utilized for zero-shot causal structure learning for in-distribution sequences. Empirical evaluation is conducted in a controlled synthetic environment using the setup and rules of the Othello board game. A GPT, pre-trained on real-world games played with the intention of winning, is tested on synthetic data that only adheres to the game rules, oblivious to the goal of winning. We find that the GPT model is likely to generate moves that adhere to the game rules for sequences for which a causal structure is encoded in the attention mechanism with high confidence. In general, in cases for which the GPT model generates moves that do not adhere to the game rules, it also fails to capture any causal structure.
Abstract（参考訳）: 生成事前学習型トランスフォーマー(GPT)モデルは、次のトークンを予測するためにのみ訓練されているのか、それとも、シーケンスが一度に1つのトークンを生成する世界モデルから暗黙的に学習されているのか? 本稿では,GPTにおける注意機構の因果的解釈を導出し,この解釈から生じる因果的世界モデルを提案する。さらに,GPTモデルを推論時にゼロショット因果構造学習に利用し,分布内配列を解析する手法を提案する。オセロボードゲームの設定とルールを用いて,制御された合成環境下で実証評価を行う。 GPTは、勝利を意図してプレイされる現実世界のゲームで事前訓練され、ゲームルールにのみ準拠する合成データでテストされる。我々は,GPTモデルが,注意機構に因果構造を符号化したシーケンスのゲームルールに従う動きを,高い信頼度で生成する可能性が示唆された。一般に、GPTモデルがゲームルールに従わない動作を生成する場合、因果構造を捕捉できない。

関連論文リスト

Selective Temporal Knowledge Graph Reasoning [70.11788354442218]
時間的知識グラフ(TKG)は、与えられた歴史的事実に基づいて将来の事実を予測することを目的としている。既存のTKG推論モデルは、不確実な予測を控えることができない。本稿では,既存のモデルが無差別な予測ではなく選択的に行うのに役立つ,TKG推論の棄却機構を提案する。
論文参考訳（メタデータ） (2024-04-02T06:56:21Z)
Emergent World Models and Latent Variable Estimation in Chess-Playing Language Models [0.0]
我々は,Othelloゲーム上でGPTモデルをトレーニングし,ボード状態の内部表現を学習した。この作業をチェスのより複雑な領域に拡張し、実際のゲームでトレーニングし、モデルの内部表現を調査します。 Li et al. の以前の合成データセットアプローチとは異なり、我々の分析では、このモデルがプレイヤースキルのような潜伏変数を推定し、次のキャラクタをより正確に予測する方法も学んでいる。
論文参考訳（メタデータ） (2024-03-21T18:53:23Z)
Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
論文参考訳（メタデータ） (2023-05-23T04:28:16Z)
Causally Disentangled Generative Variational AutoEncoder [16.82544099843568]
変分オートエンコーダ(VAE)のための教師付き学習手法を提案する。この手法により因果不整合表現を学習し、同時に因果不整合結果を生成することができる。これをCausally Disentangled Generation(CDG)と呼ぶ。
論文参考訳（メタデータ） (2023-02-23T01:57:09Z)
Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [50.41984119504716]
本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
論文参考訳（メタデータ） (2023-01-29T11:53:55Z)
Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task [75.35278593566068]
言語モデルは驚くべき範囲の能力を示しているが、その明らかな能力の源泉は不明である。これらのネットワークは単に表面統計の集合を記憶しているだけなのか、あるいは、彼らが見るシーケンスを生成するプロセスの内部表現に依存しているのだろうか? 簡単なボードゲームOthelloにおける法的な動きを予測するタスクに,GPTモデルの変種を適用して検討する。
論文参考訳（メタデータ） (2022-10-24T16:29:55Z)
Scoring Rules for Performative Binary Prediction [2.111790330664657]
理論的および数値的な結果から、適切なスコアリングルールは、専門家に彼らの予測で世界を操作させるインセンティブを与えることができることを示す。また、この問題を回避するための単純なスコアリングルールも構築する。
論文参考訳（メタデータ） (2022-07-05T08:31:24Z)
How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2021-12-22T05:04:41Z)
Delayed Propagation Transformer: A Universal Computation Engine towards Practical Control in Cyber-Physical Systems [68.75717332928205]
マルチエージェント制御はサイバー物理システムにおいて中心的なテーマである。本稿では,CPSのグローバルモデリングを専門とするトランスフォーマーモデルを提案する。物理的な制約帰納バイアスが設計に組み込まれているため、DePTは幅広い種類のマルチエージェントシステムにプラグアンドプレイする準備ができています。
論文参考訳（メタデータ） (2021-10-29T17:20:53Z)
Kronecker Decomposition for GPT Compression [8.60086973058282]
GPTは自動回帰トランスフォーマーベースの事前学習言語モデルであり、自然言語処理(NLP)分野において多くの注目を集めている。 GPTの性能は優れているが、GPTはこのモデルを限られた計算能力やメモリを持つデバイスに展開することを非常に禁じることができる。本研究では, GPT-22モデルの線形写像を圧縮するためにKronecker分解を用いる。
論文参考訳（メタデータ） (2021-10-15T15:28:39Z)
Adversarial Example Games [51.92698856933169]
Adrial Example Games (AEG) は、敵の例の製作をモデル化するフレームワークである。 AEGは、ある仮説クラスからジェネレータとアバーサを反対に訓練することで、敵の例を設計する新しい方法を提供する。 MNIST と CIFAR-10 データセットに対する AEG の有効性を示す。
論文参考訳（メタデータ） (2020-07-01T19:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。