Fugu-MT 論文翻訳(概要): From Brittle to Robust: Improving LLM Annotations for SE Optimization

論文の概要: From Brittle to Robust: Improving LLM Annotations for SE Optimization

arxiv url: http://arxiv.org/abs/2603.22474v1
Date: Mon, 23 Mar 2026 18:42:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-25 19:53:37.151218
Title: From Brittle to Robust: Improving LLM Annotations for SE Optimization
Title（参考訳）: Brittle から Robust へ:SE最適化のための LLM アノテーションの改善
Authors: Lohith Senthilkumar, Tim Menzies,
Abstract要約: 人間の専門知識が乏しい場合、SE研究者は大きな言語モデル(LLM)に欠けているラベルを尋ねることがある。この課題に対処するために,SynthCore と呼ばれる新しい LLM プロンプト戦略を提案する。一つの意見が失敗すると、SynthCoreはLLMによって生成された複数の分離された意見と、数発の学習者のアンサンブルを結合する。
参考スコア（独自算出の注目度）: 4.082216579462797
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Software analytics often builds from labeled data. Labeling can be slow, error prone, and expensive. When human expertise is scarce, SE researchers sometimes ask large language models (LLMs) for the missing labels. While this has been successful in some domains, recent results show that LLM-based labeling has blind spots. Specifically, their labeling is not effective for higher dimensional multi-objective problems. To address this task, we propose a novel LLM prompting strategy called SynthCore. When one opinion fails, SynthCore's combines multiple separated opinions generated by LLMs (with no knowledge of each others' answers) into an ensemble of few-shot learners. Simpler than other strategies (e.g. chain-of-thought, multi-agent-debate, etc) SynthCore aggregates results from multiple single prompt sessions (with no crossover between them). SynthCore has been tested on 49 SE multi-objective optimization tasks, handling tasks as diverse as software project management, Makefile configuration, and hyperparameter optimization. SynthCore's ensemble found optimizations that are better than state-of-the-art alternative approaches (Gaussian Process Models, Tree of Parzen Estimators, active learners in both exploration and exploitation mode). Importantly, these optimizations were made using data labeled by LLMs, without any human opinions. From these experiments, we conclude that ensembles of few shot learners can successfully annotate high dimensional multi-objective tasks. Further, we speculate that other successful few-shot prompting results could be quickly and easily enhanced using SynthCore's ensemble approach. To support open science, all our data and scripts are available at https://github.com/lohithsowmiyan/lazy-llm/tree/clusters.
Abstract（参考訳）: ソフトウェア分析はラベル付きデータから作られることが多い。ラベル付けは遅く、エラーが多く、高価です。人間の専門知識が乏しい場合、SE研究者は大きな言語モデル(LLM)に欠けているラベルを尋ねることがある。これはいくつかの領域で成功したが、最近の研究ではLSMベースのラベリングには盲点があることが示されている。特に、それらのラベル付けは高次元多目的問題には有効ではない。この課題に対処するために,SynthCore と呼ばれる新しい LLM プロンプト戦略を提案する。一つの意見が失敗すると、SynthCore は LLM によって生成される複数の分離された意見(お互いの回答を知らない)を、数発の学習者の集まりにまとめる。他の戦略(例えば、チェーン・オブ・シンク、マルチエージェント・ディベートなど)よりもシンプルに、SynthCoreは複数のプロンプトセッションから結果を集約します。 SynthCoreは49のSEマルチオブジェクト最適化タスク、ソフトウェアプロジェクト管理、Makefile設定、ハイパーパラメータ最適化といったタスクでテストされている。 SynthCoreのアンサンブルは、最先端の代替手法よりも優れた最適化(ガウスのプロセスモデル、パーズン推定子のツリー、探索モードとエクスプロイトモードの両方でアクティブな学習者)を発見した。重要な点として、これらの最適化はLLMによってラベル付けされたデータを使用して行われた。これらの実験から,少数のショット学習者のアンサンブルが高次元多目的タスクのアノテートに成功できることがわかった。さらに,SynthCoreのアンサンブルアプローチを用いて,他の数発のプロンプト結果を迅速かつ容易に拡張できるのではないかと考えている。オープンサイエンスをサポートするために、我々のデータとスクリプトはhttps://github.com/lohithsowmiyan/lazy-llm/tree/clusters.comで入手できる。

論文の概要: From Brittle to Robust: Improving LLM Annotations for SE Optimization

関連論文リスト