論文の概要: What Survives the Next Model? Benchmarking LLM-Based Techniques Against Single-Prompts

• arxiv url: http://arxiv.org/abs/2609.00468v1
• Date: Mon, 31 Aug 2026 23:16:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.126584
• Title: What Survives the Next Model? Benchmarking LLM-Based Techniques Against Single-Prompts
• Title（参考訳）: 次のモデルが生き残るか? 単一プロンプトに対するLCMベースの手法のベンチマーク
• Abstract要約: ICSE 2026から35のLarge Language Models (LLMs) に基づく技術論文を分析した。 我々は、それらの複雑なツールが、最も単純な代替手段である、単一の自動生成プロンプトによって、より優れているかどうかを評価する。 コード生成や修復のような建設的なテクニックは、単一プロンプトによる置換に適していると考えています。
• 参考スコア（独自算出の注目度）: 10.524731897275396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The software engineering research community has enthusiastically embraced the integration of Large Language Models (LLMs) into complex techniques to solve a wide variety of tasks. However, the extent to which this investment is strategic remains unclear, as the native capabilities of successive frontier model generations can rapidly render existing techniques obsolete. To assess this research investment, we analyze 35 LLM-based technique papers from ICSE 2026. We evaluate whether their complex tools can be outperformed by the simplest possible alternative: a single, automatically generated prompt executed on a newer generation model, without any iterative refinement. We find that for between 37% and 63% papers, a newer model with a single prompt natively outperforms the heavily engineered tooling proposed just a year prior. We identify that constructive techniques like code generation or repair are more amenable to substitution by a single-prompt. We also identify a surviving set of papers relying on strategies that provide additional insights to the model where newer LLMs will amplify the proposed technique. Our findings raise questions about the cost-benefit proposition of techniques designed as workarounds to temporary model deficits and the need to focus on enduring challenges that scale synergistically with future model generations. Our source codes and results are made publicly available at https://github.com/less-lab-uva/What-Survives-the-Next-Model.
• Abstract（参考訳）: ソフトウェアエンジニアリング研究コミュニティは、幅広いタスクを解決するために、大規模言語モデル(LLM)を複雑な技術に統合することを熱心に受け入れています。 しかし、連続するフロンティアモデル世代が持つネイティブな能力は、既存のテクニックを急速に時代遅れにすることができるため、この投資がどれほど戦略的かは明らかではない。 ICSE 2026 から35 LLM 技術論文を分析した。 我々は,その複雑なツールが,最も単純な代替手段によってより優れているかどうかを評価する。新しい世代モデル上で実行された1つの自動生成プロンプト。 37%から63%の論文では、単一のプロンプトを持つ新しいモデルが、わずか1年前に提案された、高度にエンジニアリングされたツールをネイティブに上回っていることが分かりました。 コード生成や修復のような建設的なテクニックは、単一プロンプトによる置換に適していると考えています。 また、新たなLSMが提案手法を増幅するモデルにさらなる洞察を与える戦略に依存した、現存する一連の論文も同定する。 本研究は,一時的モデル不足への回避策として設計された手法の費用対効果と,将来のモデル世代と相乗的にスケールする持続的課題に焦点を合わせることの必要性について疑問を投げかけるものである。 ソースコードと結果はhttps://github.com/less-lab-uva/What-Survives-the-Next-Modelで公開されています。

関連論文リスト

• AutoSOTA: An End-to-End Automated Research System for State-of-the-Art AI Model Discovery [49.77172027295716]
  AutoSOTAは、トップレベルのAI論文で発表された最新のState-Of-The-Art(SOTA)モデルを進化させるエンドツーエンドの自動研究システムである。 報告された方法を超える新しい105種類のSOTAモデルを発見し、平均して1紙あたり平均5時間である。
  論文  参考訳（メタデータ） (2026-04-07T07:52:01Z)
• AutoMerge: Search-Based Model Merging Framework for Effective Model Reuse [8.950520457150178]
  近年,大規模言語モデル (LLM) の分野において,学習自由なアプローチとしてモデルマージが出現している。 このようなアプローチが他のディープラーニングモデルに効果的に適用できるかどうかを体系的に検討する以前の研究はない。 3つの異なるモデルアーキテクチャ上で5つのモデルマージ手法を評価する。
  論文  参考訳（メタデータ） (2026-01-30T09:27:01Z)
• Large Language Models for Unit Test Generation: Achievements, Challenges, and the Road Ahead [15.43943391801509]
  単体テストは、ソフトウェアの検証には不可欠だが、面倒なテクニックである。 大規模言語モデル(LLM)は、コードセマンティクスとプログラミングパターンに関するデータ駆動の知識を活用することで、この制限に対処する。 このフレームワークは、コアジェネレーティブ戦略と一連の拡張テクニックに関する文献を分析します。
  論文  参考訳（メタデータ） (2025-11-26T13:30:11Z)
• Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
  本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T06:51:48Z)
• Speed Always Wins: A Survey on Efficient Architectures for Large Language Models [51.817121227562964]
  大規模言語モデル(LLM)は、言語理解、生成、推論、マルチモーダルモデルの能力境界の押し付けにおいて、素晴らしい結果をもたらしている。 トランスフォーマーモデルは、現代のLLMの基礎として、優れたスケーリング特性を備えた強力なベースラインを提供する。 従来のトランスフォーマーアーキテクチャは、相当な計算を必要とし、大規模なトレーニングと実践的なデプロイメントに重大な障害を生じさせる。
  論文  参考訳（メタデータ） (2025-08-13T14:13:46Z)
• Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
  本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
  論文  参考訳（メタデータ） (2025-06-16T02:27:25Z)
• Optimizing LLMs for Resource-Constrained Environments: A Survey of Model Compression Techniques [1.4513830934124627]
  大規模言語モデル(LLM)は、人工知能(AI)の多くの領域に革命をもたらしたが、その相当なリソース要件は、モバイルおよびエッジデバイスへのデプロイメントを制限する。 本稿では,資源制約環境下での効率的な推論を実現するため,LLMの圧縮技術について概観する。
  論文  参考訳（メタデータ） (2025-05-05T01:27:47Z)
• Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
  より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。 当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。 当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
  論文  参考訳（メタデータ） (2025-03-31T07:31:32Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• MACQ: A Holistic View of Model Acquisition Techniques [11.510002282660782]
  本稿では,アクションモデル獲得空間の包括的特徴と,自動アクションモデル獲得のための統合フレームワークを提案する。 この分野における画期的なアプローチのいくつかを再実装し、すべての技術の特徴は、残る研究機会について深い洞察を与えてくれます。
  論文  参考訳（メタデータ） (2022-06-14T00:18:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。