Fugu-MT 論文翻訳(概要): Automated Program Repair: Emerging trends pose and expose problems for benchmarks

論文の概要: Automated Program Repair: Emerging trends pose and expose problems for benchmarks

arxiv url: http://arxiv.org/abs/2405.05455v1
Date: Wed, 8 May 2024 23:09:43 GMT
ステータス: 処理完了
システム内更新日: 2024-05-10 14:32:26.020283
Title: Automated Program Repair: Emerging trends pose and expose problems for benchmarks
Title（参考訳）: プログラムの自動修正: 新たなトレンドは、ベンチマークの問題を示し、露呈する
Authors: Joseph Renzullo, Pemma Reiter, Westley Weimer, Stephanie Forrest,
Abstract要約: 大規模言語モデル(LLM)はソフトウェアパッチの生成に使用される。評価と比較は、結果が有効であり、一般化する可能性が高いことを保証するために注意する必要があります。大規模かつしばしば開示されていないトレーニングデータセットには、評価される問題が含まれている可能性がある。
参考スコア（独自算出の注目度）: 7.437224586066947
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine learning (ML) now pervades the field of Automated Program Repair (APR). Algorithms deploy neural machine translation and large language models (LLMs) to generate software patches, among other tasks. But, there are important differences between these applications of ML and earlier work. Evaluations and comparisons must take care to ensure that results are valid and likely to generalize. A challenge is that the most popular APR evaluation benchmarks were not designed with ML techniques in mind. This is especially true for LLMs, whose large and often poorly-disclosed training datasets may include problems on which they are evaluated.
Abstract（参考訳）: 機械学習(ML)がAPR(Automated Program repair)の分野に進出した。アルゴリズムは、ソフトウェアパッチを生成するために、ニューラルマシン翻訳と大規模言語モデル(LLM)をデプロイする。しかし、これらのMLのアプリケーションと初期の作業には重要な違いがある。評価と比較は、結果が有効であり、一般化する可能性が高いことを保証するために注意する必要があります。問題なのは、最も人気のあるAPR評価ベンチマークがMLテクニックを念頭に設計されていないことだ。大規模かつしばしば開示されていないトレーニングデータセットには、評価される問題が含まれる可能性がある。

関連論文リスト

Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [85.51252685938564]
不確実性定量化(UQ)は、機械学習(ML)に依存するアプリケーションの重要なコンポーネントとして、ますます認識されつつある。他のMLモデルと同様に、大きな言語モデル(LLM)は、クレームを作成することによって誤った予測をする傾向があり、あるいは与えられた入力に対して単に低品質の出力を生成する。本稿では,最先端のUQベースラインの集合を実装した新しいベンチマークを提案し,新しいテクニックを制御可能かつ一貫した評価を行う環境を提供する。
論文参考訳（メタデータ） (2024-06-21T20:06:31Z)
Benchmarking Educational Program Repair [4.981275578987307]
大きな言語モデル(LLM)は、学習リソースの生成、エラーメッセージの改善、コードに対するフィードバックの提供に使用することができる。競合するアプローチの公平な比較を容易にするため、標準化とベンチマークが強く求められている。本稿では,新しい教育プログラム修復ベンチマークを提案する。
論文参考訳（メタデータ） (2024-05-08T18:23:59Z)
Revisiting Unnaturalness for Automated Program Repair in the Era of Large Language Models [9.454475517867817]
本研究では,テンプレートベースの補修技術の効率化を目的としたパッチ自然度測定,エントロピーデルタを提案する。提案手法は,最先端の機械学習ツールよりも効果的に正パッチをランク付けできる。
論文参考訳（メタデータ） (2024-04-23T17:12:45Z)
A Novel Approach for Automatic Program Repair using Round-Trip Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文参考訳（メタデータ） (2024-01-15T22:36:31Z)
InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
論文参考訳（メタデータ） (2023-11-20T07:06:31Z)
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。テキスト内学習と微調整によるラベル付きデータの影響について検討する。次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文参考訳（メタデータ） (2023-08-14T17:17:21Z)
Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。本稿では,この新技術について概観する。
論文参考訳（メタデータ） (2023-08-06T18:38:52Z)
MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。本稿では,MLLM 評価ベンチマーク MME について述べる。知覚能力と認知能力の両方を合計14のサブタスクで測定する。
論文参考訳（メタデータ） (2023-06-23T09:22:36Z)
Fully Autonomous Programming with Large Language Models [0.9558392439655015]
LLM(Large Language Models)を用いたプログラム合成への最近のアプローチは、"ニアミスシンドローム"を示す。我々は、LLMとプログラム合成ベンチマーク2としてOpenAI Codexを使用し、問題記述と評価のためのテストのデータベースとして使用します。結果として生じるフレームワークは、修復フェーズなしでのCodexの従来の使用法と、従来の遺伝的プログラミングアプローチの両方を上回ります。
論文参考訳（メタデータ） (2023-04-20T16:12:05Z)
Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
論文参考訳（メタデータ） (2020-05-17T22:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。