論文の概要: Large Language Models and the Extended Church-Turing Thesis
- arxiv url: http://arxiv.org/abs/2409.06978v1
- Date: Wed, 11 Sep 2024 03:09:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 15:47:11.610097
- Title: Large Language Models and the Extended Church-Turing Thesis
- Title(参考訳): 大規模言語モデルと拡張教会教育論
- Authors: Jiří Wiedermann, Jan van Leeuwen,
- Abstract要約: 本稿では,計算可能性理論と計算複雑性理論を用いて,大規模言語モデル(LLM)の計算能力について検討する。
固定的な(非適応的な) LLM は、計算量的に a, probably large, deterministic finite-state transducer と同値であることを示す。
本研究は,いくつかの関連分野と哲学の幅広い文脈における知見のメリットについて論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Extended Church-Turing Thesis (ECTT) posits that all effective information processing, including unbounded and non-uniform interactive computations, can be described in terms of interactive Turing machines with advice. Does this assertion also apply to the abilities of contemporary large language models (LLMs)? From a broader perspective, this question calls for an investigation of the computational power of LLMs by the classical means of computability and computational complexity theory, especially the theory of automata. Along these lines, we establish a number of fundamental results. Firstly, we argue that any fixed (non-adaptive) LLM is computationally equivalent to a, possibly very large, deterministic finite-state transducer. This characterizes the base level of LLMs. We extend this to a key result concerning the simulation of space-bounded Turing machines by LLMs. Secondly, we show that lineages of evolving LLMs are computationally equivalent to interactive Turing machines with advice. The latter finding confirms the validity of the ECTT for lineages of LLMs. From a computability viewpoint, it also suggests that lineages of LLMs possess super-Turing computational power. Consequently, in our computational model knowledge generation is in general a non-algorithmic process realized by lineages of LLMs. Finally, we discuss the merits of our findings in the broader context of several related disciplines and philosophies.
- Abstract(参考訳): Extended Church-Turing Thesis (ECTT) は、非有界および非一様対話型計算を含む全ての効果的な情報処理が、アドバイス付き対話型チューリングマシンの用語で記述可能であることを示唆している。
この主張は、現代の大規模言語モデル(LLM)の能力にも当てはまるだろうか?
より広い視点から見ると、この問題は計算可能性と計算複雑性理論の古典的な手段、特にオートマトンの理論によるLLMの計算能力の調査を要求する。
これらの線に沿って、私たちはいくつかの基本的な結果を確立します。
まず、固定的な(非適応的な) LLM は、計算量的に a, probably large, deterministic finite-state transducer と等価であると主張する。
これはLLMの基底レベルを特徴づける。
我々はこれを LLM による空間有界チューリングマシンのシミュレーションに関する重要な結果に拡張する。
第2に,LLMの進化系は,対話型チューリングマシンと計算機的に等価であることを示す。
後者はLCMの系統に対するECTTの有効性を確認した。
計算可能性の観点からは、LLMの系統が超チューリング計算能力を持っていることも示唆される。
したがって、我々の計算モデルにおける知識生成は一般に、LLMの系統によって実現される非アルゴリズム的プロセスである。
最後に、いくつかの関連する分野や哲学のより広い文脈において、我々の発見のメリットについて論じる。
関連論文リスト
- Unraveling Arithmetic in Large Language Models: The Role of Algebraic Structures [3.181878085746691]
大型言語モデル (LLM) は顕著な数学的能力を示しており、主にチェーン・オブ・シント (CoT) のプロンプトによって駆動されている。
本稿では,emphCommutativity やemphIdentity などの代数的構造を捉えることによって,LLM が算術を学習することを提案する。
この結果から,代数的構造を活用することでLLMの算術的能力が向上し,算術的性能向上への洞察が得られた。
論文 参考訳(メタデータ) (2024-11-25T10:23:11Z) - Can a Large Language Model Learn Matrix Functions In Context? [3.7478782183628634]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を通じて複雑なタスクを解く能力を実証した。
本稿では,LLMの非線形数値計算能力について検討し,特異値分解関数に着目した。
論文 参考訳(メタデータ) (2024-11-24T00:33:43Z) - DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。
活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。
DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
論文 参考訳(メタデータ) (2024-11-04T18:26:08Z) - Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。
本研究では,LLMが計算を行う特定のメカニズムを明らかにする。
LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
論文 参考訳(メタデータ) (2024-09-03T07:01:46Z) - On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning [87.73401758641089]
CoT推論による現代言語モデル(LM)の性能向上
LMは弦上の分布の族を確率的チューリングマシンと同一に表現できることを示す。
論文 参考訳(メタデータ) (2024-06-20T10:59:02Z) - Evaluating LLMs' Mathematical Reasoning in Financial Document Question
Answering [53.56653281752486]
本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。
数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。
半構造化文書に適した新しいプロンプト技術を導入する。
論文 参考訳(メタデータ) (2024-02-17T05:10:18Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - On the Representational Capacity of Recurrent Neural Language Models [56.19166912044362]
計算時間を持つ有理重み付きRLMは、有理重み付き遷移を持つ決定論的確率的チューリングマシン(PTM)をシミュレートできることを示す。
また, 実時間計算の制約下では, 決定論的実時間有理PTMをシミュレートできることを示した。
論文 参考訳(メタデータ) (2023-10-19T17:39:47Z) - Fast Quantum Algorithm for Attention Computation [18.44025861624981]
大規模言語モデル(LLM)は、幅広いタスクで例外的なパフォーマンスを示している。
大規模言語モデル(LLM)のアーキテクチャにおけるアテンションスキームの役割
量子機械計算は古典機械と比較して一定の計算上の優位性を持っていることはよく知られている。
論文 参考訳(メタデータ) (2023-07-16T14:00:42Z) - Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM
Inference Pipeline [22.08897444328099]
大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。
本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。