論文の概要: Emergent Stack Representations in Modeling Counter Languages Using Transformers

• arxiv url: http://arxiv.org/abs/2502.01432v1
• Date: Mon, 03 Feb 2025 15:11:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:42.144876
• Title: Emergent Stack Representations in Modeling Counter Languages Using Transformers
• Title（参考訳）: 変圧器を用いた対数言語モデリングにおける創発的スタック表現
• Authors: Utkarsh Tiwari, Aviral Gupta, Michael Hahn,
• Abstract要約: 4つの対向言語でトランスモデルを訓練し、スタックを使ってこれらの言語を等価に定式化する。 入力トークン毎のスタック深度に関する内部表現を探索し、次のトークン予測器として訓練された場合、スタックのような表現が学習されることを示す。 これにより、トランスフォーマーが言語を学習し、回路発見に役立つアルゴリズムの詳細を理解することができます。
• 参考スコア（独自算出の注目度）: 0.8948475969696075
• License:
• Abstract: Transformer architectures are the backbone of most modern language models, but understanding the inner workings of these models still largely remains an open problem. One way that research in the past has tackled this problem is by isolating the learning capabilities of these architectures by training them over well-understood classes of formal languages. We extend this literature by analyzing models trained over counter languages, which can be modeled using counter variables. We train transformer models on 4 counter languages, and equivalently formulate these languages using stacks, whose depths can be understood as the counter values. We then probe their internal representations for stack depths at each input token to show that these models when trained as next token predictors learn stack-like representations. This brings us closer to understanding the algorithmic details of how transformers learn languages and helps in circuit discovery.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは、現代のほとんどの言語モデルのバックボーンであるが、これらのモデルの内部動作を理解することは、依然としてほとんど未解決の問題である。 この問題にこれまで取り組んできた研究の1つは、形式言語をよく理解したクラスで学習することで、これらのアーキテクチャの学習能力を分離することである。 我々は、対向変数を用いてモデル化できる対向言語上で訓練されたモデルを分析することによって、この文献を拡張した。 4つのカウンタ言語でトランスモデルを訓練し、スタックを用いてこれらの言語を等価に定式化し、その深さをカウンタ値として理解することができる。 次に、各入力トークンのスタック深度に関する内部表現を探索し、次のトークン予測器としてトレーニングされた場合、スタックのような表現が学習されることを示す。 これにより、トランスフォーマーが言語を学習し、回路発見に役立つアルゴリズムの詳細を理解することができます。

関連論文リスト

• A Transformer with Stack Attention [84.18399019794036]
  本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。 我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。 スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
  論文  参考訳（メタデータ） (2024-05-07T17:47:57Z)
• Revenge of the Fallen? Recurrent Models Match Transformers at Predicting Human Language Comprehension Metrics [3.3932293160775298]
  現代のリカレントモデルでは,オンラインの人間の言語理解をモデル化する上で,比較可能な大きさのトランスフォーマーの性能を - そして場合によっては - 上回ることができることを示す。 このことは、トランスフォーマー言語モデルがこのタスクに一意に適していないことを示唆し、言語モデルのアーキテクチャ的特徴が人間の言語理解のモデルをより良く、より悪いものにするかどうかについての議論のための新たな方向性を開くことを示唆している。
  論文  参考訳（メタデータ） (2024-04-30T01:02:15Z)
• Opening the black box of language acquisition [0.0]
  我々は、学習言語のための、より透明で認知的に妥当なアーキテクチャを提案する。 ディープラーニングの代わりに、シーケンスメモリとチャンキングに基づいた最小限の認知アーキテクチャを使用します。 その結果、モデルがこれらの人工言語をスクラッチから学習し、学習を支援する文法情報を抽出できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-18T19:11:58Z)
• Arithmetic with Language Models: from Memorization to Computation [3.077668143048211]
  本研究は、次のトークンを予測するために訓練された言語モデルが、トレーニングデータを超えて一般化された算術演算を実行する方法を検討する。 我々はこれらのタスクを学ぶために軽言語モデルを訓練し、外挿能力と内部情報処理を調べるために多くの実験を行った。
  論文  参考訳（メタデータ） (2023-08-02T13:58:37Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Interactively Generating Explanations for Transformer Language Models [14.306470205426526]
  トランスフォーマー言語モデルは、多くのNLPタスクにおいて最先端である。 最近の手法はブラックボックスモデルに対する解釈可能性と説明可能性を提供することを目的としている。 モデルアーキテクチャに直接組み込まれたプロトタイプネットワークを使うことを強調した。
  論文  参考訳（メタデータ） (2021-09-02T11:34:29Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Learning Chess Blindfolded: Evaluating Language Models on State Tracking [69.3794549747725]
  私たちはチェスのゲームのための言語モデリングのタスクを検討します。 自然言語とは異なり、チェス表記法は単純で制約のある決定論的領域を記述する。 トランスフォーマー言語モデルでは,移動シーケンスのみを訓練することで,ピースの追跡や法的動作の予測を高精度に行うことができる。
  論文  参考訳（メタデータ） (2021-02-26T01:16:23Z)
• On the Ability and Limitations of Transformers to Recognize Formal Languages [9.12267978757844]
  カウンター言語のサブクラスのためのトランスフォーマーの構築を提供する。 トランスフォーマーはこのサブクラスでうまく機能し、それらの学習メカニズムは我々の構成と強く相関している。 おそらく、LSTMとは対照的に、Transformerはパフォーマンスが低下する正規言語のサブセットでのみ動作する。
  論文  参考訳（メタデータ） (2020-09-23T17:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。