論文の概要: Evaluating and Improving ChatGPT-Based Expansion of Abbreviations
- arxiv url: http://arxiv.org/abs/2410.23866v1
- Date: Thu, 31 Oct 2024 12:20:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:02:47.879679
- Title: Evaluating and Improving ChatGPT-Based Expansion of Abbreviations
- Title（参考訳）: ChatGPTによる略語拡張の評価と改善
- Authors: Yanjie Jiang, Hui Liu, Lu Zhang,
- Abstract要約: 大規模言語モデル(LLM)に基づく略語拡張に関する最初の実証的研究について述べる。
以上の結果から,ChatGPTは最先端のアプローチよりも精度が低いことが示唆された。
最初の原因として, 様々な文脈の影響を調査し, 周辺ソースコードが最適選択であることを確認した。
- 参考スコア（独自算出の注目度）: 6.900119856872516
- License:
- Abstract: Source code identifiers often contain abbreviations. Such abbreviations may reduce the readability of the source code, which in turn hinders the maintenance of the software applications. To this end, accurate and automated approaches to expanding abbreviations in source code are desirable and abbreviation expansion has been intensively investigated. However, to the best of our knowledge, most existing approaches are heuristics, and none of them has even employed deep learning techniques, let alone the most advanced large language models (LLMs). LLMs have demonstrated cutting-edge performance in various software engineering tasks, and thus it has the potential to expand abbreviation automatically. To this end, in this paper, we present the first empirical study on LLM-based abbreviation expansion. Our evaluation results on a public benchmark suggest that ChatGPT is substantially less accurate than the state-of-the-art approach, reducing precision and recall by 28.2\% and 27.8\%, respectively. We manually analyzed the failed cases, and discovered the root causes for the failures: 1) Lack of contexts and 2) Inability to recognize abbreviations. In response to the first cause, we investigated the effect of various contexts and found surrounding source code is the best selection. In response to the second cause, we designed an iterative approach that identifies and explicitly marks missed abbreviations in prompts. Finally, we proposed a post-condition checking to exclude incorrect expansions that violate commonsense. All such measures together make ChatGPT-based abbreviation expansion comparable to the state of the art while avoiding expensive source code parsing and deep analysis that are indispensable for state-of-the-art approaches.
- Abstract（参考訳）: ソースコード識別子は、しばしば略語を含む。
このような省略はソースコードの可読性を低下させ、それによってソフトウェアアプリケーションのメンテナンスを妨げます。
この目的のために、ソースコードの略語拡張のための正確かつ自動化されたアプローチが望ましいものであり、略語拡張が集中的に研究されている。
しかしながら、私たちの知る限りでは、既存のアプローチのほとんどはヒューリスティックなものであり、最も先進的な大規模言語モデル(LLM)はもちろんのことながら、ディープラーニング技術も採用していません。
LLMは、様々なソフトウェアエンジニアリングタスクにおいて最先端のパフォーマンスを示しており、自動的に省略を拡大する可能性がある。
そこで本論文では,LLMに基づく略語展開に関する最初の実証的研究について述べる。
評価結果は,ChatGPTが最先端手法よりも精度が低く,精度が28.2\%,リコール率が27.8\%低下していることが示唆された。
私たちは手動で失敗したケースを分析し、失敗の根本原因を見つけました。
1)文脈の欠如
2)略語を認識できないこと。
最初の原因として, 様々な文脈の影響を調査し, 周辺ソースコードが最適選択であることを確認した。
2つ目の原因に対応するために,提案手法を考案した。
最後に,コモンセンスに反する不正な拡張を除外するための条件後チェックを提案する。
いずれもChatGPTベースの略語拡張を最先端に匹敵する一方で、最先端のアプローチでは不可欠である高価なソースコード解析や深層解析を回避している。
関連論文リスト
- Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Chain-of-Thought Reasoning Without Prompting [40.92854235219315]
CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練された言語モデルから引き出すことができる。
復号経路におけるCoTの存在は、モデルの復号解に対する高い信頼と相関する。
論文 参考訳（メタデータ） (2024-02-15T18:55:41Z) - BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs'
Generation [60.77990074569754]
本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。
具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。
次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
論文 参考訳（メタデータ） (2023-10-25T23:32:12Z) - Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。
CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。
提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
論文 参考訳（メタデータ） (2023-09-12T14:36:23Z) - Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。
実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。
我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
論文 参考訳（メタデータ） (2023-08-28T03:03:03Z) - Arguments to Key Points Mapping with Prompt-based Learning [0.0]
本稿では,パラメータ対キーポイントマッピングタスクに対する2つのアプローチを提案する。
最初のアプローチは、事前訓練された言語モデルを微調整するためのプロンプトエンジニアリングを統合することである。
第二のアプローチは、PLMにおけるプロンプトベースの学習を利用して中間テキストを生成する。
論文 参考訳（メタデータ） (2022-11-28T01:48:29Z) - Dealing with Abbreviations in the Slovenian Biographical Lexicon [2.0810096547938164]
省略は、トークン化や語彙外エラーを引き起こすため、NLPシステムにとって大きな課題となる。
そこで本研究では,テキスト中のドメイン固有省略量の高密度化に起因する問題に対処する手法を提案する。
論文 参考訳（メタデータ） (2022-11-04T13:09:02Z) - Entity Disambiguation with Entity Definitions [50.01142092276296]
ローカルモデルはEntity Disambiguation (ED)で最近驚くべきパフォーマンスを達成した
それまでの研究は、各候補者のテキスト表現として、ウィキペディアのタイトルのみを使うことに限られていた。
本稿では、この制限に対処し、より表現力のあるテキスト表現がそれを緩和できる範囲について検討する。
提案する6つのベンチマークのうち2つに新たな技術の現状を報告し,未知のパターンに対する一般化能力を強く改善する。
論文 参考訳（メタデータ） (2022-10-11T17:46:28Z) - Structured abbreviation expansion in context [12.000998471674649]
我々は,短縮メッセージの正規化および拡張バージョンを回復するために,文脈内でのアドホック略語を逆転させる作業を検討する。
この問題は、アドホックの略語が意図的であり、元の単語とはかなり異なる可能性があるという点において、綴りの修正とは関係があるが、異なるものである。
論文 参考訳（メタデータ） (2021-10-04T01:22:43Z) - Enforcing Consistency in Weakly Supervised Semantic Parsing [68.2211621631765]
本稿では,関連する入力に対する出力プログラム間の整合性を利用して,スプリアスプログラムの影響を低減することを提案する。
より一貫性のあるフォーマリズムは、一貫性に基づくトレーニングを必要とせずに、モデルパフォーマンスを改善することにつながります。
論文 参考訳（メタデータ） (2021-07-13T03:48:04Z) - Leveraging Domain Agnostic and Specific Knowledge for Acronym
Disambiguation [5.766754189548904]
アクロニムの曖昧さは、テキストの中で曖昧なアクロニムの正しい意味を見つけることを目的としている。
本稿では,hdBERTを用いた階層型デュアルパスBERT法を提案する。
62,441文を含むSciADデータセットを用いて,hdBERTの有効性を検討した。
論文 参考訳（メタデータ） (2021-07-01T09:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。