論文の概要: Large Language Models and the Extended Church-Turing Thesis
- arxiv url: http://arxiv.org/abs/2409.06978v1
- Date: Wed, 11 Sep 2024 03:09:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 15:47:11.610097
- Title: Large Language Models and the Extended Church-Turing Thesis
- Title(参考訳): 大規模言語モデルと拡張教会教育論
- Authors: Jiří Wiedermann, Jan van Leeuwen,
- Abstract要約: 本稿では,計算可能性理論と計算複雑性理論を用いて,大規模言語モデル(LLM)の計算能力について検討する。
固定的な(非適応的な) LLM は、計算量的に a, probably large, deterministic finite-state transducer と同値であることを示す。
本研究は,いくつかの関連分野と哲学の幅広い文脈における知見のメリットについて論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Extended Church-Turing Thesis (ECTT) posits that all effective information processing, including unbounded and non-uniform interactive computations, can be described in terms of interactive Turing machines with advice. Does this assertion also apply to the abilities of contemporary large language models (LLMs)? From a broader perspective, this question calls for an investigation of the computational power of LLMs by the classical means of computability and computational complexity theory, especially the theory of automata. Along these lines, we establish a number of fundamental results. Firstly, we argue that any fixed (non-adaptive) LLM is computationally equivalent to a, possibly very large, deterministic finite-state transducer. This characterizes the base level of LLMs. We extend this to a key result concerning the simulation of space-bounded Turing machines by LLMs. Secondly, we show that lineages of evolving LLMs are computationally equivalent to interactive Turing machines with advice. The latter finding confirms the validity of the ECTT for lineages of LLMs. From a computability viewpoint, it also suggests that lineages of LLMs possess super-Turing computational power. Consequently, in our computational model knowledge generation is in general a non-algorithmic process realized by lineages of LLMs. Finally, we discuss the merits of our findings in the broader context of several related disciplines and philosophies.
- Abstract(参考訳): Extended Church-Turing Thesis (ECTT) は、非有界および非一様対話型計算を含む全ての効果的な情報処理が、アドバイス付き対話型チューリングマシンの用語で記述可能であることを示唆している。
この主張は、現代の大規模言語モデル(LLM)の能力にも当てはまるだろうか?
より広い視点から見ると、この問題は計算可能性と計算複雑性理論の古典的な手段、特にオートマトンの理論によるLLMの計算能力の調査を要求する。
これらの線に沿って、私たちはいくつかの基本的な結果を確立します。
まず、固定的な(非適応的な) LLM は、計算量的に a, probably large, deterministic finite-state transducer と等価であると主張する。
これはLLMの基底レベルを特徴づける。
我々はこれを LLM による空間有界チューリングマシンのシミュレーションに関する重要な結果に拡張する。
第2に,LLMの進化系は,対話型チューリングマシンと計算機的に等価であることを示す。
後者はLCMの系統に対するECTTの有効性を確認した。
計算可能性の観点からは、LLMの系統が超チューリング計算能力を持っていることも示唆される。
したがって、我々の計算モデルにおける知識生成は一般に、LLMの系統によって実現される非アルゴリズム的プロセスである。
最後に、いくつかの関連する分野や哲学のより広い文脈において、我々の発見のメリットについて論じる。
関連論文リスト
- On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning [87.73401758641089]
CoT推論による現代言語モデル(LM)の性能向上
LMは弦上の分布の族を確率的チューリングマシンと同一に表現できることを示す。
論文 参考訳(メタデータ) (2024-06-20T10:59:02Z) - LLM-Oracle Machines [2.6839986755082728]
本稿では,大規模言語モデル(LLM)のクラスタをオラクルとして利用することにより,オーラクルチューリングマシン(OTM)の概念の拡張を提案する。
各LLMはブラックボックスとして機能し、その専門知識内でクエリに応答できるが、遅延がある。
LLM-OMの基本,拡張,障害回避,および$epsilon$-faultの4つのバリエーションを紹介した。
論文 参考訳(メタデータ) (2024-06-18T02:25:33Z) - Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。
LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。
我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
論文 参考訳(メタデータ) (2024-06-16T09:51:55Z) - Evaluating LLMs' Mathematical Reasoning in Financial Document Question
Answering [53.56653281752486]
本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。
数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。
半構造化文書に適した新しいプロンプト技術を導入する。
論文 参考訳(メタデータ) (2024-02-17T05:10:18Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - On the Representational Capacity of Recurrent Neural Language Models [56.19166912044362]
計算時間を持つ有理重み付きRLMは、有理重み付き遷移を持つ決定論的確率的チューリングマシン(PTM)をシミュレートできることを示す。
また, 実時間計算の制約下では, 決定論的実時間有理PTMをシミュレートできることを示した。
論文 参考訳(メタデータ) (2023-10-19T17:39:47Z) - Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。
LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。
LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文 参考訳(メタデータ) (2023-10-15T12:40:30Z) - LanguageMPC: Large Language Models as Decision Makers for Autonomous
Driving [87.1164964709168]
この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。
大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
論文 参考訳(メタデータ) (2023-10-04T17:59:49Z) - Fast Quantum Algorithm for Attention Computation [18.44025861624981]
大規模言語モデル(LLM)は、幅広いタスクで例外的なパフォーマンスを示している。
大規模言語モデル(LLM)のアーキテクチャにおけるアテンションスキームの役割
量子機械計算は古典機械と比較して一定の計算上の優位性を持っていることはよく知られている。
論文 参考訳(メタデータ) (2023-07-16T14:00:42Z) - Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM
Inference Pipeline [22.08897444328099]
大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。
本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。