Fugu-MT 論文翻訳(概要): Benchmarking ChatGPT on Algorithmic Reasoning

論文の概要: Benchmarking ChatGPT on Algorithmic Reasoning

arxiv url: http://arxiv.org/abs/2404.03441v2
Date: Tue, 16 Apr 2024 21:32:47 GMT
ステータス: 処理完了
システム内更新日: 2024-04-18 18:22:01.077015
Title: Benchmarking ChatGPT on Algorithmic Reasoning
Title（参考訳）: アルゴリズム推論におけるChatGPTのベンチマーク
Authors: Sean McLeish, Avi Schwarzschild, Tom Goldstein,
Abstract要約: GNN向けに設計されたCLRSベンチマークスイートからChatGPTのアルゴリズム問題を解く能力を評価する。 ChatGPTは、Pythonを使ってこれらの問題を解決することで、専門家のGNNモデルより優れています。
参考スコア（独自算出の注目度）: 58.50071292008407
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We evaluate ChatGPT's ability to solve algorithm problems from the CLRS benchmark suite that is designed for GNNs. The benchmark requires the use of a specified classical algorithm to solve a given problem. We find that ChatGPT outperforms specialist GNN models, using Python to successfully solve these problems. This raises new points in the discussion about learning algorithms with neural networks and how we think about what out of distribution testing looks like with web scale training data.
Abstract（参考訳）: GNN向けに設計されたCLRSベンチマークスイートからChatGPTのアルゴリズム問題を解く能力を評価する。このベンチマークでは、与えられた問題を解決するために、指定された古典的アルゴリズムを使用する必要がある。 ChatGPTは、Pythonを使ってこれらの問題を解決することで、専門家のGNNモデルより優れています。これにより、ニューラルネットワークによるアルゴリズムの学習や、Webスケールのトレーニングデータによる分散テストの成果がどのようなものか、という議論において、新たなポイントが生まれました。

関連論文リスト

The Deep Equilibrium Algorithmic Reasoner [20.375241527453447]
グラフニューラルネットワーク(GNN)が古典的アルゴリズムの実行を学習できることを示す。我々は、ネットワークをトレーニングしてアルゴリズムの問題を解き、直接平衡を求めることができることを予想し、実証的に検証する。
論文参考訳（メタデータ） (2024-02-09T14:46:50Z)
Latent Space Representations of Neural Algorithmic Reasoners [15.920449080528536]
アルゴリズムの実行時にGNNによって誘導される潜伏空間の構造を詳細に解析する。 i) 分解能の喪失、(i) 類似した値の識別が困難、(ii) トレーニング中に観察された範囲外の値を扱うことができない、という2つの可能な障害モードを特定します。これらの変更は、最先端のTriplet-GMPNNプロセッサを使用する場合、CLRS-30ベンチマークのアルゴリズムの大部分の改善につながることを示す。
論文参考訳（メタデータ） (2023-07-17T22:09:12Z)
Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
論文参考訳（メタデータ） (2023-07-10T08:20:34Z)
Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
ニューラルネットワーク推論タスクのOOD一般化について検討する。目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
論文参考訳（メタデータ） (2022-11-01T18:33:20Z)
The CLRS Algorithmic Reasoning Benchmark [28.789225199559834]
アルゴリズムの学習表現は機械学習の新たな領域であり、ニューラルネットワークから古典的なアルゴリズムで概念をブリッジしようとしている。本稿では,従来のアルゴリズムを包括するCLRS Algorithmic Reasoning Benchmarkを提案する。我々のベンチマークは、ソート、探索、動的プログラミング、グラフアルゴリズム、文字列アルゴリズム、幾何アルゴリズムなど、様々なアルゴリズムの推論手順にまたがっている。
論文参考訳（メタデータ） (2022-05-31T09:56:44Z)
GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks [68.61934077627085]
本稿では,グラフ埋め込みを学習可能なGNNと互換性のあるモデリングフレームワークであるGNNRankを紹介する。既存の手法と比較して,我々の手法が競争力があり,しばしば優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2022-02-01T04:19:50Z)
A Continuous Optimisation Benchmark Suite from Neural Network Regression [0.0]
ニューラルネットワークのトレーニングは、近年のディープラーニングの成功で注目を集めている最適化タスクである。勾配降下変種は、大規模機械学習タスクにおける信頼性の高いパフォーマンスにおいて、最も一般的な選択である。 CORNNは、ニューラルネットワークのトレーニング問題に対して、連続的なブラックボックスアルゴリズムのパフォーマンスをベンチマークするスイートである。
論文参考訳（メタデータ） (2021-09-12T20:24:11Z)
Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文参考訳（メタデータ） (2021-01-08T18:55:07Z)
Graph Neural Networks for Motion Planning [108.51253840181677]
低次元問題に対する高密度固定グラフ上のGNNと高次元問題に対するサンプリングベースGNNの2つの手法を提案する。 RRT(Rapidly-Exploring Random Trees)におけるクリティカルノードの特定やサンプリング分布の学習といった計画上の問題にGNNが取り組む能力について検討する。臨界サンプリング、振り子、6つのDoFロボットアームによる実験では、GNNは従来の分析手法の改善だけでなく、完全に接続されたニューラルネットワークや畳み込みニューラルネットワークを用いた学習アプローチも示している。
論文参考訳（メタデータ） (2020-06-11T08:19:06Z)
Model Selection in Contextual Stochastic Bandit Problems [51.94632035240787]
基本アルゴリズムを選択できるメタアルゴリズムを開発した。基本アルゴリズムの1つが$O(sqrtT)$後悔している場合でも、一般的には$Omega(sqrtT)$後悔よりも良いものを得ることはできません。
論文参考訳（メタデータ） (2020-03-03T18:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。