論文の概要: Universal computation is intrinsic to language model decoding

• arxiv url: http://arxiv.org/abs/2601.08061v1
• Date: Mon, 12 Jan 2026 23:07:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:18.975622
• Title: Universal computation is intrinsic to language model decoding
• Title（参考訳）: 普遍計算は言語モデル復号法に固有のものである
• Authors: Alex Lewandowski, Marlos C. Machado, Dale Schuurmans,
• Abstract要約: 言語モデルの自己回帰出力の連鎖は普遍的な計算を行うのに十分であることを示す。 厳密には、ランダムな言語モデルでさえ、トレーニング前に普遍的な計算が可能であることを実証する。
• 参考スコア（独自算出の注目度）: 45.48946082504832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models now provide an interface to express and often solve general problems in natural language, yet their ultimate computational capabilities remain a major topic of scientific debate. Unlike a formal computer, a language model is trained to autoregressively predict successive elements in human-generated text. We prove that chaining a language model's autoregressive output is sufficient to perform universal computation. That is, a language model can simulate the execution of any algorithm on any input. The challenge of eliciting desired computational behaviour can thus be reframed in terms of programmability: the ease of finding a suitable prompt. Strikingly, we demonstrate that even randomly initialized language models are capable of universal computation before training. This implies that training does not give rise to computational expressiveness -- rather, it improves programmability, enabling a natural language interface for accessing these intrinsic capabilities.
• Abstract（参考訳）: 言語モデルは現在、自然言語の一般的な問題を表現し、しばしば解決するインターフェースを提供しているが、その究極の計算能力は科学的な議論の主要なトピックである。 正規のコンピュータとは異なり、言語モデルは人間の生成したテキストの連続した要素を自動回帰的に予測するように訓練される。 言語モデルの自己回帰出力の連鎖は普遍的な計算を行うのに十分であることを示す。 すなわち、言語モデルは任意の入力に対する任意のアルゴリズムの実行をシミュレートすることができる。 したがって、所望の計算行動を引き出すという課題は、プログラム可能性(適切なプロンプトを見つけることの容易さ)の観点から再編成することができる。 厳密には、ランダムに初期化された言語モデルでさえ、トレーニング前に普遍的な計算が可能であることを実証する。 これは、トレーニングが計算表現性をもたらすのではなく、プログラマビリティを改善し、これらの本質的な機能にアクセスするための自然言語インターフェースを可能にすることを意味する。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。 3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。 我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Natural Language Embedded Programs for Hybrid Language Symbolic Reasoning [84.12154024070024]
  本研究では,数学・記号的推論,自然言語理解,後続の課題に対処するための統合フレームワークとして,自然言語組み込みプログラム(NLEP)を提案する。 我々のアプローチは,構造化知識の自然言語表現を含むデータ構造上の関数を定義する完全なPythonプログラムを生成するよう,言語モデルに促す。 Pythonインタープリタが生成されたコードを実行し、出力をプリントする。
  論文  参考訳（メタデータ） (2023-09-19T17:54:21Z)
• Arithmetic with Language Models: from Memorization to Computation [3.077668143048211]
  本研究は、次のトークンを予測するために訓練された言語モデルが、トレーニングデータを超えて一般化された算術演算を実行する方法を検討する。 我々はこれらのタスクを学ぶために軽言語モデルを訓練し、外挿能力と内部情報処理を調べるために多くの実験を行った。
  論文  参考訳（メタデータ） (2023-08-02T13:58:37Z)
• Memory Augmented Large Language Models are Computationally Universal [44.64529266193095]
  変換器をベースとした大規模言語モデルは,外部メモリで拡張した場合に計算的に普遍的であることを示す。 我々は,既存の大規模言語モデルであるFlan-U-PaLM 540Bと連想型読み書きメモリを組み合わせることで,汎用チューリングマシンの実行を正確にシミュレートできることを確認した。
  論文  参考訳（メタデータ） (2023-01-10T02:37:44Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。