論文の概要: Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models

• arxiv url: http://arxiv.org/abs/2412.05353v1
• Date: Fri, 06 Dec 2024 18:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:57.745264
• Title: Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models
• Title（参考訳）: 自己回帰変換言語モデルにおける増分文処理機構
• Authors: Michael Hanna, Aaron Mueller,
• Abstract要約: LMにおける庭道文処理のメカニズムについて検討する。 多くの重要な特徴が構文構造に関連するが、いくつかは構文的に無関係なことを反映している。 ほとんどのアクティブな特徴は文の一読に対応しているが、ある特徴は他方に対応しており、LMが両方の可能性に重みを同時に割り当てていることを示唆している。
• 参考スコア（独自算出の注目度）: 12.866627382118768
• License:
• Abstract: Autoregressive transformer language models (LMs) possess strong syntactic abilities, often successfully handling phenomena from agreement to NPI licensing. However, the features they use to incrementally process language inputs are not well understood. In this paper, we fill this gap by studying the mechanisms underlying garden path sentence processing in LMs. We ask: (1) Do LMs use syntactic features or shallow heuristics to perform incremental sentence processing? (2) Do LMs represent only one potential interpretation, or multiple? and (3) Do LMs reanalyze or repair their initial incorrect representations? To address these questions, we use sparse autoencoders to identify interpretable features that determine which continuation - and thus which reading - of a garden path sentence the LM prefers. We find that while many important features relate to syntactic structure, some reflect syntactically irrelevant heuristics. Moreover, while most active features correspond to one reading of the sentence, some features correspond to the other, suggesting that LMs assign weight to both possibilities simultaneously. Finally, LMs do not re-use features from garden path sentence processing to answer follow-up questions.
• Abstract（参考訳）: 自己回帰変換言語モデル(LM)は強力な構文能力を有し、しばしばNPIライセンスとの合意から現象を扱うことに成功した。 しかし、言語入力を漸進的に処理するために使用する機能はよく理解されていない。 本稿では,このギャップを,LMにおける庭道文処理のメカニズムを研究することによって埋める。 1) LMは構文的特徴や浅層ヒューリスティックを用いてインクリメンタルな文処理を行うか? 2)LMは1つの潜在的な解釈のみを表すのか、複数なのか? そして(3)LMは、最初の誤った表現を再分析するか、または修復するのか? これらの問題に対処するために, LM が好む庭道文の継続(および読解)を決定する解釈可能な特徴を, スパースオートエンコーダを用いて同定する。 多くの重要な特徴が構文構造に関連しているのに対し、いくつかは構文的に無関係なヒューリスティックを反映している。 さらに、ほとんどのアクティブな特徴は文の一読に対応しているが、ある特徴は他方に対応しており、LMが両方の可能性に重みを同時に割り当てていることを示唆している。 最後に、LMは、庭道文処理からフォローアップ質問に答えるために、機能を再利用しない。

関連論文リスト

• Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention [11.073959609358088]
  本研究では,4つの大言語モデルを用いて,園芸パス文の処理と誤解釈の運命について検討する。 総合的な目標は、人間とLLMが庭道文の処理に一致しているかどうかを評価することである。 実験により,園芸道文の処理における人間とLLMの連携が期待できることが示された。
  論文  参考訳（メタデータ） (2024-05-25T03:36:13Z)
• Transformers Can Represent $n$-gram Language Models [56.06361029539347]
  本稿では,言語モデルの単純かつ歴史的なクラスであるトランスフォーマーLMと$n$-gram LMの関係に注目した。 ハードまたはスパースアテンション機構を用いたトランスフォーマーLMは,任意の$n$-gram LMを正確に表現できることを示す。
  論文  参考訳（メタデータ） (2024-04-23T12:51:37Z)
• MemoryPrompt: A Light Wrapper to Improve Context Tracking in Pre-trained Language Models [10.783764497590473]
  トランスフォーマーベースの言語モデル(LM)は、大規模でハードコードされた入力ウィンドウを通してコンテキスト情報を追跡する。 メモリプロンプト(MemoryPrompt)は、LMを小さな補助的リカレントネットワークで補完し、その正規入力をベクトル列でプレフィックスすることでLMに情報伝達する手法である。 複数のファクト更新を追跡するLMの能力を調査するために設計されたタスクでテストされた MemoryPromptの拡張されたLM は、完全な入力履歴にアクセス可能なより大きなLMよりも優れている。
  論文  参考訳（メタデータ） (2024-02-23T11:30:39Z)
• Frugal LMs Trained to Invoke Symbolic Solvers Achieve Parameter-Efficient Arithmetic Reasoning [36.8749786658624]
  大規模言語モデル(LLM)は、スケールで発生した振る舞いとしてゼロショットの数学的推論能力を示す。 算術語問題を正規化テーマ解決タスクとして提案した場合,小さいLMでは合理的な算術的推論が可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-09T13:20:49Z)
• Towards a Mechanistic Interpretation of Multi-Step Reasoning Capabilities of Language Models [107.07851578154242]
  言語モデル(LM)は強力な多段階推論能力を持つ。 LMが事前学習コーパスから記憶された回答を不正に処理するか,多段階推論機構を用いてタスクを実行するかは明らかでない。 メカニスティックプローブは,ほとんどの例において,モデルの注意から推論ツリーの情報を検出することができることを示す。
  論文  参考訳（メタデータ） (2023-10-23T01:47:29Z)
• Exploring In-Context Learning of Textless Speech Language Model for Speech Classification Tasks [98.5311231450689]
  インコンテキスト学習(ICL)は,大規模言語モデル(LLM)の利用において重要な役割を担っている。 本研究は,テキストレス音声 LM を用いた音声分類タスクのための ICL を探索する最初の研究である。
  論文  参考訳（メタデータ） (2023-10-19T05:31:45Z)
• Exploring Human-Like Translation Strategy with Large Language Models [93.49333173279508]
  大規模言語モデル(LLM)は、一般的なシナリオにおいて印象的な機能を示している。 本研究は,マルチアスペクト・プロンプトと選択のためのMAPSフレームワークを提案する。 品質推定に基づく選択機構を用いて,ノイズや不ヘッピーな知識を抽出する。
  論文  参考訳（メタデータ） (2023-05-06T19:03:12Z)
• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• Prompting as Probing: Using Language Models for Knowledge Base Construction [1.6050172226234583]
  我々は,2020年にOpenAIが提案した大規模言語モデルであるGPT-3を利用したProP(Prompting as Probing)を提案する。 ProPは、様々なプロンプト技術を組み合わせてこれを実現するマルチステップアプローチを実装している。 評価の結果,提案手法は最終的な予測精度を大幅に向上させることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-08-23T16:03:50Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。