論文の概要: On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2406.14197v1
• Date: Thu, 20 Jun 2024 10:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 14:11:31.160852
• Title: On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning
• Title（参考訳）: 連鎖推論を用いたニューラルネットワークモデルの表現能力について
• Authors: Franz Nowak, Anej Svete, Alexandra Butoi, Ryan Cotterell,
• Abstract要約: CoT推論による現代言語モデル(LM)の性能向上 LMは弦上の分布の族を確率的チューリングマシンと同一に表現できることを示す。
• 参考スコア（独自算出の注目度）: 87.73401758641089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of modern language models (LMs) has been improved by chain-of-thought (CoT) reasoning, i.e., the process of generating intermediate results that guide the model towards a final answer. A possible explanation for this improvement is that CoT reasoning extends an LM's computational power, as RNNs and transformers with additional scratch space are known to be Turing complete. Comparing LMs to Turing machines, however, introduces a category error - Turing machines decide language membership, whereas LMs define distributions over strings. To bridge this gap, we formalize CoT reasoning in a probabilistic setting. We present several results on the representational capacity of recurrent and transformer LMs with CoT reasoning, showing that they can represent the same family of distributions over strings as probabilistic Turing machines.
• Abstract（参考訳）: 現代言語モデル(LM)の性能は、チェーン・オブ・シンクレット(CoT)推論、すなわち、モデルの最終解へと導く中間結果を生成するプロセスによって改善されている。 この改善の可能な説明は、RNNやスクラッチ空間を持つ変換器がチューリング完全であることが知られているので、CoT推論がLMの計算能力を拡張することである。 しかし、LMとチューリングマシンを比較すると、カテゴリーエラーが発生し、チューリングマシンが言語のメンバーシップを決定するのに対して、LMは文字列上の分布を定義する。 このギャップを埋めるため、確率的環境でCoT推論を定式化する。 CoT推論による再帰および変圧器LMの表現能力に関するいくつかの結果を示し、弦上の分布の同族を確率的チューリングマシンとして表現可能であることを示す。

関連論文リスト

• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Transformers Can Represent $n$-gram Language Models [56.06361029539347]
  本稿では,言語モデルの単純かつ歴史的なクラスであるトランスフォーマーLMと$n$-gram LMの関係に注目した。 ハードまたはスパースアテンション機構を用いたトランスフォーマーLMは,任意の$n$-gram LMを正確に表現できることを示す。
  論文  参考訳（メタデータ） (2024-04-23T12:51:37Z)
• On the Representational Capacity of Recurrent Neural Language Models [56.19166912044362]
  計算時間を持つ有理重み付きRLMは、有理重み付き遷移を持つ決定論的確率的チューリングマシン(PTM)をシミュレートできることを示す。 また, 実時間計算の制約下では, 決定論的実時間有理PTMをシミュレートできることを示した。
  論文  参考訳（メタデータ） (2023-10-19T17:39:47Z)
• Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
  RNN LMが表現できる確率分布のクラスについて検討する。 単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。 これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
  論文  参考訳（メタデータ） (2023-10-08T13:36:05Z)
• Evaluating Step-by-Step Reasoning through Symbolic Verification [20.156768135017007]
  事前学習言語モデル(LM)は、文脈内学習において顕著な推論性能を示した。 LMLPは、より小さなモデルサイズであっても、長さの一般化ベンチマークにおいて、チェーン・オブ・ソート(CoT)よりも25%以上精度が高い。
  論文  参考訳（メタデータ） (2022-12-16T19:30:01Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• On the Linguistic Capacity of Real-Time Counter Automata [1.8072051868187933]
  リアルタイムカウンターマシンの能力を形式文法として研究する。 対向言語は補数、和、交叉、その他多くの共通集合演算の下で閉じていることを示す。 この研究は、リカレントニューラルネットワークを理解することに興味のある形式言語理論に一般的な貢献をする。
  論文  参考訳（メタデータ） (2020-04-15T03:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。