論文の概要: An Empirical Evaluation of Cost-Efficient Large Language Models on Algorithmic Programming Tasks

• arxiv url: http://arxiv.org/abs/2609.18052v1
• Date: Wed, 16 Sep 2026 02:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.618593
• Title: An Empirical Evaluation of Cost-Efficient Large Language Models on Algorithmic Programming Tasks
• Title（参考訳）: アルゴリズムプログラミング課題におけるコスト効率の高い大規模言語モデルの実証評価
• Abstract要約: 38.4%のメソッドは返却した値を計算せず、返却された回答の12.9%のみが正しい。 結果クラスの条件は、応答の信頼性と正しさが逆関係であることを示しているが、真の計算方法が最も多く答えられ、19.3%が正しかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study empirically evaluates whether cost-efficient Large Language Models (LLMs) can be trusted to generate enterprise code to a written specification. Three models (Gemini Flash 3, GPT-5.4 mini and Claude Haiku 4.5) were asked to solve 992 algorithmic problems as Java Spring Boot service methods conforming to a mandated signature and data-transfer-object specification, crossing four model and agentic coding tool combinations with two prompt variants to yield eight configurations, with iteration forbidden and hardcoded answers explicitly prohibited. Eight problem statements were withheld to probe how models respond to missing input. The 7,593 resulting methods were classified by an eight-class outcome taxonomy describing what each does about producing an answer, then deployed and executed, giving 7,936 measured requests joined to that classification. Structural conformance approached ceiling, yet 38.4% of methods do not compute the value they returned and only 12.9% of returned answers were correct. Conditioning on outcome class shows that response reliability and correctness are inversely related, whereas genuinely computing methods answered least often and were correct 19.3%. Limitations include single generation runs per configuration, partial harness coverage, single-pass timing, syntactic classification, and probable corpus contamination.
• Abstract（参考訳）: 本研究では,コスト効率の高い大規模言語モデル (LLM) が,書面仕様にエンタープライズコードを生成する上で信頼できるかどうかを実証的に評価する。 3つのモデル(Gemini Flash 3, GPT-5.4 mini と Claude Haiku 4.5)は、Java Spring Bootのサービスメソッドが命令付きシグネチャとデータ-トランスファー-オブジェクト仕様に準拠しているため、992のアルゴリズム上の問題を解決するように求められた。 8つの問題文は、モデルが入力不足にどう反応するかを調査するために保持された。 その結果得られた7,593の手法は,回答の生成についてそれぞれが何をしているかを記述した8階層の成果分類によって分類され,その分類に7,936の要求が加わった。 構造適合性は天井に近づいたが、38.4%のメソッドは返却した値を計算せず、返却された回答の12.9%のみが正しかった。 結果クラスの条件は、応答の信頼性と正しさが逆関係であることを示しているが、真の計算方法が最も多く答えられ、19.3%が正しかった。 制限には、構成毎の単一生成実行、部分的ハーネスカバレッジ、シングルパスタイミング、構文分類、確率的コーパス汚染が含まれる。

関連論文リスト

• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Where Do Large Language Models Fail on Competitive Programming? A Taxonomy of Failures by Algorithm Type and Difficulty Rating [0.0]
  LLM(Large Language Model)は、競合するプログラミングベンチマークの習熟度が向上することを示す。 本稿では,315コーデックス問題のバランスの取れた分類法を用いて,LLM故障パターンの系統的研究を行った。
  論文  参考訳（メタデータ） (2026-06-02T18:48:38Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness [12.183451602438753]
  単純な語彙制約(句読解文字または共通単語の禁止)により、命令調整されたLLMが応答を崩壊させることを示す。 ベースモデルでは,同じ制約の下で,小さな,騒々しい,双方向的な効果を伴って,体系的な崩壊を示さないことを示す。
  論文  参考訳（メタデータ） (2026-04-14T17:40:01Z)
• CAPITU: A Benchmark for Evaluating Instruction-Following in Brazilian Portuguese with Literary Context [8.678622777553267]
  CAPITUは、ブラジルポルトガル語でLLM(Large Language Models)の命令追従能力を評価するためのベンチマークである。 ベンチマークは59の命令タイプを7つのカテゴリに分類し、すべて自動的に検証できるように設計されている。 シングルターンおよびマルチターン設定における18の最先端モデルを評価する。
  論文  参考訳（メタデータ） (2026-03-23T21:16:54Z)
• HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
  HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。 作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
  論文  参考訳（メタデータ） (2025-11-24T03:13:45Z)
• A Hierarchical and Evolvable Benchmark for Fine-Grained Code Instruction Following with Multi-Turn Feedback [30.446511584123492]
  大規模言語モデル(LLM)はコード生成において著しく進歩しているが、階層化され多様な制約を持つ複雑なプログラミング命令に従う能力はいまだ探索されていない。 複数次元にわたるコード生成における命令追従の評価を目的とした総合ベンチマークであるMultiCodeIFを紹介する。 我々は14のプログラミング言語から得られた2,021のコードタスクを合成し、進化させ、フィードバック駆動型タスク変種によるマルチターン評価をサポートする。
  論文  参考訳（メタデータ） (2025-07-01T11:51:40Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Self-Polish: Enhance Reasoning in Large Language Models via Problem Refinement [50.62461749446111]
  Self-Polish(SP)は、与えられた問題を徐々に洗練し、より理解しやすく解けるように誘導することによって、モデルの推論を促進する新しい方法である。 SPは、CoTのような答え/推論サイドの他のすべてのプロンプトメソッドであり、最先端の技術とのシームレスな統合を可能にし、さらなる改善を可能にします。
  論文  参考訳（メタデータ） (2023-05-23T19:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。