論文の概要: Patching as Translation: the Data and the Metaphor
- arxiv url: http://arxiv.org/abs/2008.10707v2
- Date: Tue, 1 Sep 2020 02:33:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 12:54:42.808581
- Title: Patching as Translation: the Data and the Metaphor
- Title（参考訳）: 翻訳としてのパッチング:データとメタファー
- Authors: Yangruibo Ding, Baishakhi Ray, Premkumar Devanbu, Vincent J.
Hellendoorn
- Abstract要約: ソフトウェアパッチは言語翻訳に似ている」ことを示す。
私たちは、経験的な発見とソフトウェア開発の一般的な知識に基づいて、モデル設計に対するより原則化されたアプローチが、よりよいソリューションをもたらすことを示しています。
このようなモデルを“概念の保護(proof-of-concept)”ツールとして実装し、それらが研究対象の翻訳ベースアーキテクチャと根本的に異なる、より効果的な方法で振る舞うことを実証的に確認します。
- 参考スコア（独自算出の注目度）: 18.22949296398319
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning models from other fields, like Computational Linguistics,
have been transplanted to Software Engineering tasks, often quite successfully.
Yet a transplanted model's initial success at a given task does not necessarily
mean it is well-suited for the task. In this work, we examine a common example
of this phenomenon: the conceit that "software patching is like language
translation". We demonstrate empirically that there are subtle, but critical
distinctions between sequence-to-sequence models and translation model: while
program repair benefits greatly from the former, general modeling architecture,
it actually suffers from design decisions built into the latter, both in terms
of translation accuracy and diversity. Given these findings, we demonstrate how
a more principled approach to model design, based on our empirical findings and
general knowledge of software development, can lead to better solutions. Our
findings also lend strong support to the recent trend towards synthesizing
edits of code conditional on the buggy context, to repair bugs. We implement
such models ourselves as "proof-of-concept" tools and empirically confirm that
they behave in a fundamentally different, more effective way than the studied
translation-based architectures. Overall, our results demonstrate the merit of
studying the intricacies of machine learned models in software engineering: not
only can this help elucidate potential issues that may be overshadowed by
increases in accuracy; it can also help innovate on these models to raise the
state-of-the-art further. We will publicly release our replication data and
materials at https://github.com/ARiSE-Lab/Patch-as-translation.
- Abstract（参考訳）: 計算言語学のような他の分野の機械学習モデルは、ソフトウェア工学のタスクに移植され、非常にうまくいった。
しかし、あるタスクで移植されたモデルの最初の成功は、必ずしもそのタスクに適しているとは限らない。
本稿では,この現象の一般的な例として,「ソフトウェアパッチは言語翻訳に似ている」という考えを考察する。
プログラムの修復は、以前の一般的なモデリングアーキテクチャと大きく異なるが、実際には、翻訳精度と多様性の両方の観点から、後者に組み込まれた設計決定に悩まされている。
これらの知見から,我々の経験的知見とソフトウェア開発の一般知識に基づいて,モデル設計に対するより原則的なアプローチが,よりよいソリューションをもたらすことを実証する。
また,バグのある状況下でのコード条件の編集を合成し,バグを修復する最近の傾向を強く支持している。
このようなモデルを“概念の証明(proof-of-concept)”ツールとして実装し、研究対象の翻訳ベースのアーキテクチャとは根本的に異なる、より効果的な方法で振る舞うことを実証的に確認します。
全体として、我々の結果は、ソフトウェア工学における機械学習モデルの複雑さを研究することのメリットを実証している。これは、精度の上昇によって過度に隠蔽される可能性のある潜在的な問題を解明するのに役立つだけでなく、これらのモデルに革新を加えて、最先端の技術をさらに高めるのに役立つ。
レプリケーションデータと資料はhttps://github.com/arise-lab/patch-as-translationで公開します。
関連論文リスト
- Pitfalls and Outlooks in Using COMET [22.016569792620295]
COMETの指標は、人間の翻訳品質と強い相関関係にあることから、機械翻訳コミュニティの足跡をなしている。
COMETメトリックの3つの側面について検討する: 技術: 古いソフトウェアバージョンと計算精度; データ: 空コンテンツ, 言語ミスマッチ, テスト時の翻訳, 使用状況と報告。
ソフトウェアとモデル構成のためのシグネチャと適切な引用を生成するサックレットCOMETパッケージをリリースする。
論文 参考訳（メタデータ） (2024-08-27T19:03:11Z) - Collaborative decoding of critical tokens for boosting factuality of
large language models [57.504894664689]
微調整および整列モデルでは、命令追従と安全な生成の能力が改善されている。
世代ごとのサンプリングの一般的な実践は、幻覚の確率を増大させる。
我々は、クリティカルトークンの概念を通じて、事前訓練されたモデル内の高い事実性を活用するための協調的復号化フレームワークを導入する。
論文 参考訳（メタデータ） (2024-02-28T01:53:37Z) - Beyond Self-learned Attention: Mitigating Attention Bias in
Transformer-based Models Using Attention Guidance [9.486558126032639]
SyntaGuidはトランスフォーマーベースのモデルを重要なソースコードトークンへ導くための新しいアプローチである。
SyntaGuidは、全体的なパフォーマンスを3.25%改善し、28.3%の誤予測を修正できることを示す。
論文 参考訳（メタデータ） (2024-02-26T18:03:50Z) - Fine-Tuning Enhances Existing Mechanisms: A Case Study on Entity
Tracking [53.66999416757543]
本研究では,微調整が言語モデルに実装された内部メカニズムに与える影響について検討する。
微調整はモデルの機械的操作を変えるのではなく、強化する。
論文 参考訳（メタデータ） (2024-02-22T18:59:24Z) - A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained
Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。
我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文 参考訳（メタデータ） (2022-10-13T15:47:09Z) - BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。
実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。
われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
論文 参考訳（メタデータ） (2022-07-21T20:17:53Z) - Beyond the Imitation Game: Quantifying and extrapolating the
capabilities of language models [648.3665819567409]
言語モデルは、規模が大きくなるにつれて量的改善と新しい質的能力の両方を示す。
ビッグベンチは204のタスクで構成され、132の機関で450人の著者が貢献している。
我々は,OpenAIのGPTモデル,Google内部の高密度トランスアーキテクチャ,BIGベンチ上のスイッチ型スパーストランスの挙動を評価する。
論文 参考訳（メタデータ） (2022-06-09T17:05:34Z) - Super-Prompting: Utilizing Model-Independent Contextual Data to Reduce
Data Annotation Required in Visual Commonsense Tasks [3.42658286826597]
我々は,言語モデルとマルチモーダル因果変換器モデルの両方における結果を改善するために,異なるプロンプトベースの微調整手法を解析する。
以上の結果から,モデルに依存しないインシデントベースの微調整により,微調整データセットの35%～40%のみを用いて,同等の精度で達成できることが示唆された。
論文 参考訳（メタデータ） (2022-04-25T18:56:55Z) - Paraphrastic Representations at Scale [134.41025103489224]
私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。
我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
論文 参考訳（メタデータ） (2021-04-30T16:55:28Z) - On the comparability of Pre-trained Language Models [0.0]
教師なし表現学習の最近の進歩は、NLPにおける伝達学習の概念を確立することに成功している。
より精巧なアーキテクチャは、コンテキスト情報をよりよく活用しています。
より大規模なコーパスは、自己教師型で大規模言語モデルを事前訓練するためのリソースとして使用される。
並列コンピューティングとクラウドコンピューティングの進歩により、これらのモデルを、以前確立されたモデルよりも短い時間で、同じまたは短い時間で、拡張能力でトレーニングすることが可能になった。
論文 参考訳（メタデータ） (2020-01-03T10:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。