論文の概要: Statistical investigations into the geometry and homology of random programs
- arxiv url: http://arxiv.org/abs/2407.04854v1
- Date: Fri, 5 Jul 2024 20:25:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 22:16:57.741735
- Title: Statistical investigations into the geometry and homology of random programs
- Title（参考訳）: ランダムプログラムの幾何学とホモロジーに関する統計的研究
- Authors: Jon Sporring, Ken Friis Larsen,
- Abstract要約: 本稿では,チャットGPTから生成したランダムなPythonプログラム間の関係を幾何学的・トポロジ的に記述する方法について述べる。
本稿では,ChatGPT-4とTinyLlamaを画像処理に関する簡単な問題で比較する。
将来、我々のアプローチはプログラミング言語の構造に新たな洞察を与えるかもしれないと推測する。
- 参考スコア（独自算出の注目度）: 0.2302001830524133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI-supported programming has taken giant leaps with tools such as Meta's Llama and openAI's chatGPT. These are examples of stochastic sources of programs and have already greatly influenced how we produce code and teach programming. If we consider input to such models as a stochastic source, a natural question is, what is the relation between the input and the output distributions, between the chatGPT prompt and the resulting program? In this paper, we will show how the relation between random Python programs generated from chatGPT can be described geometrically and topologically using Tree-edit distances between the program's syntax trees and without explicit modeling of the underlying space. A popular approach to studying high-dimensional samples in a metric space is to use low-dimensional embedding using, e.g., multidimensional scaling. Such methods imply errors depending on the data and dimension of the embedding space. In this article, we propose to restrict such projection methods to purely visualization purposes and instead use geometric summary statistics, methods from spatial point statistics, and topological data analysis to characterize the configurations of random programs that do not rely on embedding approximations. To demonstrate their usefulness, we compare two publicly available models: ChatGPT-4 and TinyLlama, on a simple problem related to image processing. Application areas include understanding how questions should be asked to obtain useful programs; measuring how consistently a given large language model answers; and comparing the different large language models as a programming assistant. Finally, we speculate that our approach may in the future give new insights into the structure of programming languages.
- Abstract（参考訳）: AIをサポートするプログラミングは、MetaのLlamaやopenAIのchatGPTといったツールで大きな飛躍を遂げた。
これらは、プログラムの確率的なソースの例であり、私たちがコードを作成し、プログラミングを教える方法に大きな影響を与えています。
このようなモデルへの入力を確率的情報源として考えると、自然な疑問は、入力と出力分布の関係は、チャットGPTプロンプトと結果プログラムの関係で何になるのか?
本稿では,チャットGPTから生成されたランダムPythonプログラム間の関係を,プログラムの構文木間の木-編集距離を用いて幾何学的・トポロジ的に記述し,基礎となる空間の明示的なモデリングを行なわないことを示す。
計量空間における高次元サンプルの研究における一般的なアプローチは、低次元埋め込み(例えば、多次元スケーリング)を使用することである。
このような手法は、埋め込み空間のデータと次元に依存する誤差を暗示する。
本稿では,そのような投影法を純粋に視覚化する目的に限定し,幾何学的要約統計,空間点統計からの手法,およびトポロジカルデータ解析を用いて,埋め込み近似に依存しないランダムプログラムの構成を特徴付けることを提案する。
その有用性を示すために、画像処理に関する簡単な問題に対して、ChatGPT-4とTinyLlamaの2つの公開モデルを比較した。
アプリケーション領域には、どのように有用なプログラムを得るべきかを問うべきかどうかの理解、与えられた大きな言語モデルがいかに一貫して答えるかを測定すること、プログラムアシスタントとして異なる大きな言語モデルを比較することが含まれる。
最後に、我々のアプローチは将来プログラミング言語の構造に新たな洞察を与えるかもしれないと推測する。
関連論文リスト
- ReasonAgain: Using Extractable Symbolic Programs to Evaluate Mathematical Reasoning [54.70811660561151]
既存の数学データセットは、最終回答または静的例から派生した中間推論ステップを用いて、大規模言語モデル(LLM)の推論能力を評価する。
モデルがプログラムへの様々な入力に対して常に正しい最終回答を生成できる場合、シンボルプログラムを自動評価の手段として利用したいと考えている。
提案手法は, 従来の静的な例と比較して, 精度の低下を観測し, 現状のLLMにおける数学推論の脆弱さを示唆する。
論文 参考訳（メタデータ） (2024-10-24T18:02:37Z) - Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。
当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
論文 参考訳（メタデータ） (2024-09-13T01:40:20Z) - Pair Programming with Large Language Models for Sampling and Estimation
of Copulas [0.0]
モンテカルロシミュレーションに基づくコプラによる依存モデリングの例は、最先端の大規模言語モデル(LLM)を用いて開発されている。
この中には、自然言語でのChatGPTとのインタラクションや数学的形式の使用が含まれており、PythonとRで動作するコードの生成につながっている。
注意深い急進的なエンジニアリングを通じて、ChatGPTが生成した成功解と失敗解を分離し、その結果、関連する長所と短所の包括的リストを得る。
論文 参考訳（メタデータ） (2023-03-31T15:02:48Z) - Foundation Posteriors for Approximate Probabilistic Inference [11.64841553345271]
我々は確率的プログラムにおいて、推論をマスク付き言語モデリングとして定式化する。
ニューラルネットワークをトレーニングしてランダムな値を解き放ち、近似した後続分布を定義する。
提案手法の有効性をSTANプログラムのベンチマークで示す。
論文 参考訳（メタデータ） (2022-05-19T17:42:37Z) - A Conversational Paradigm for Program Synthesis [110.94409515865867]
本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。
私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。
本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
論文 参考訳（メタデータ） (2022-03-25T06:55:15Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳（メタデータ） (2021-09-09T12:32:28Z) - Learning compositional programs with arguments and sampling [12.790055619773565]
私たちは、特定の要件を満たすプログラムを見つけるために、機械学習モデルをトレーニングします。
我々は、引数を受理できる関数を生成することを学ぶことによって、アートモデルAlphaNPIの状態を拡張します。
論文 参考訳（メタデータ） (2021-09-01T21:27:41Z) - Program Synthesis with Large Language Models [40.41120807053989]
我々はPythonにおけるプログラム合成のための大規模言語モデルを評価する。
合成性能はモデルサイズと対数的にスケールすることがわかった。
最高のモデルでさえ、特定の入力を与えられたプログラムの出力を予測できないことが分かりました。
論文 参考訳（メタデータ） (2021-08-16T03:57:30Z) - GeoQA: A Geometric Question Answering Benchmark Towards Multimodal
Numerical Reasoning [172.36214872466707]
我々は、テキスト記述、視覚図、定理知識の包括的理解を必要とする幾何学的問題を解くことに注力する。
そこで本研究では,5,010の幾何学的問題を含む幾何学的質問応答データセットGeoQAを提案する。
論文 参考訳（メタデータ） (2021-05-30T12:34:17Z) - Geomstats: A Python Package for Riemannian Geometry in Machine Learning [5.449970675406181]
非線形方程式の計算と統計のためのオープンソースのPythonツールボックスであるGeomstatsを紹介した。
オブジェクト指向で広範な単体テスト実装を提供しています。
微分幾何学と統計学の研究を促進するため,Geomstatsは信頼性の高いビルディングブロックを提供する。
ソースコードはMITライセンスのもと、urlgeomstats.aiで無料で入手できる。
論文 参考訳（メタデータ） (2020-04-07T20:41:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。