論文の概要: The Case for Multi-Version Experimental Evaluation (MVEE)

• arxiv url: http://arxiv.org/abs/2603.27691v1
• Date: Sun, 29 Mar 2026 13:32:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.072668
• Title: The Case for Multi-Version Experimental Evaluation (MVEE)
• Title（参考訳）: MVEE(Multi-Version Experimental Evaluation)の1例
• Abstract要約: マルチバージョン実験評価(MVEE)の概念を提案する。 MVEEは、"ビルド異常"が発生するためのアセンブリコードレベルのその後のビルドを自動的に、透過的に分析する。 その結果、各手法の観察されたすべてのバージョンを実験的評価に含めることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the database community, we typically evaluate new methods based on experimental results, which we produce by integrating the proposed method along with a set of baselines in a single benchmarking codebase and measuring the individual runtimes. If we are unhappy with the performance of our method, we gradually improve it while repeatedly comparing to the baselines, until we outperform them. While this seems like a reasonable approach, it makes one delicate assumption: We assume that across the optimization workflow, there exists only a single compiled version of each baseline to compare to. However, we learned the hard way that in practice, even though the source code remains untouched, general purpose compilers might still generate highly different compiled code across builds, caused by seemingly unrelated changes in other parts of the codebase, leading to flawed comparisons and evaluations. To tackle this problem, we propose the concept of Multi-Version Experimental Evaluation (MVEE). MVEE automatically and transparently analyzes subsequent builds on the assembly code level for occurring "build anomalies" and materializes them as new versions of the methods. As a consequence, all observed versions of the respective methods can be included in the experimental evaluation, highly increasing its quality and overall expressiveness.
• Abstract（参考訳）: データベースコミュニティでは,実験結果に基づく新しい手法の評価が一般的であり,提案手法とベースラインのセットを1つのベンチマークコードベースに統合し,個々のランタイムを測定する。 提案手法の性能に不満を抱いた場合,性能が向上するまで,ベースラインと繰り返し比較しながら徐々に改善する。 最適化ワークフロー全体において、比較するベースラインの1つのコンパイルされたバージョンしか存在しないと仮定します。 しかし、実際にはソースコードがまだ変更されていないとしても、一般的な目的のコンパイラはビルド全体で非常に異なるコンパイルコードを生成する可能性があるということを学びました。 そこで本研究では,MVEE(Multi-Version Experimental Evaluation)の概念を提案する。 MVEEは、"ビルド異常"が発生するためのアセンブリコードレベルのその後のビルドを自動的に透過的に分析し、それらを新しいバージョンのメソッドとして実現します。 その結果、各手法の観察されたすべてのバージョンを実験評価に含めることができ、その品質と全体的な表現性が高くなった。

関連論文リスト

• CEL: Comprehensive Counterfactual Explanations Library and Benchmark [0.0]
  本稿では,CEL(Counterfactual Explanations Library)について紹介する。 CELには、さまざまなサイズと複雑さの18のデータセットが含まれており、広く使用されている14のカウンターファクトのメソッドの実装や再実装を提供する。 CELは、最近の対実的説明法を体系的に評価する最初の総合的なベンチマークである。
  論文  参考訳（メタデータ） (2026-07-24T07:21:27Z)
• Fluid Language Model Benchmarking [126.92394365620525]
  我々は,複数の次元にわたるLMベンチマークを進展させる新しい評価手法であるFluid Benchmarkingを紹介する。 サイコメトリックスにインスパイアされたFluid Benchmarkingは、ベンチマーク項目の相対値がLMの能力レベルに依存するという洞察に基づいている。 効率性,妥当性,分散性,飽和性の4つの次元を検証した結果,Fluid Benchmarkingがすべてにおいて優れた性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2025-09-14T05:49:42Z)
• RefEdit: A Benchmark and Method for Improving Instruction-based Image Editing Model on Referring Expressions [56.9437856499838]
  スケーラブルな合成データ生成パイプラインでトレーニングされた命令ベースの編集モデルであるRefEditを紹介します。 私たちのRefEditは、わずか2万の編集三脚でトレーニングされており、何百万ものデータでトレーニングされたFlux/SD3モデルベースラインを上回っています。
  論文  参考訳（メタデータ） (2025-06-03T23:20:24Z)
• ComprehendEdit: A Comprehensive Dataset and Evaluation Framework for Multimodal Knowledge Editing [27.034072044001736]
  大規模マルチモーダル言語モデル(MLLM)は、自然言語処理と視覚的理解に革命をもたらした。 現在の知識編集評価はスコープが限られており、バイアスがある可能性がある。 複数のデータセットから8つのタスクからなる総合的なベンチマークであるComprehendEditを紹介する。
  論文  参考訳（メタデータ） (2024-12-17T11:41:49Z)
• AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
  AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。 コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:03:24Z)
• Realistic Evaluation of Model Merging for Compositional Generalization [45.68423348264746]
  我々は,異なるマージ手法の相対的メリットを,共有実験環境で評価することによって評価する。 具体的には、画像分類、画像生成、自然言語処理における特徴の合成一般化にマージを用いることに焦点をあてる。 我々は、異なるマージ手法の計算コストと、マージされるモデルの数をスケールする際のそれらの性能を計測する。
  論文  参考訳（メタデータ） (2024-09-26T21:44:20Z)
• DOCE: Finding the Sweet Spot for Execution-Based Code Generation [69.5305729627198]
  本稿では,候補生成,$n$-best再ランク,最小ベイズリスク(MBR)復号化,自己老化などを含む包括的フレームワークを提案する。 本研究は,実行ベースメソッドの重要性と,実行ベースメソッドと実行フリーメソッドとの差を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T07:10:36Z)
• NerfBaselines: Consistent and Reproducible Evaluation of Novel View Synthesis Methods [27.110978556614246]
  新しいビュー合成は、AR/VR、ゲーム、ロボットシミュレーションを含む多くのアプリケーションにおいて重要な問題である。 異なる評価プロトコルを用いた手法や、インストールや使用が難しいベンチマーク、新しい3Dシーンの一般化が難しい手法などにより、最先端の追跡が困難になっている。 本実験では, 各種手法の評価プロトコルの微妙な違いであっても, これらの手法の性能を人工的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-06-25T07:58:47Z)
• A Static Evaluation of Code Completion by Large Language Models [65.18008807383816]
  単純なプログラミング問題に対するモデル生成コードの機能的正当性を評価するために,実行ベースベンチマークが提案されている。 プログラムを実行せずにエラーを検出するlinterのような静的解析ツールは、コード生成モデルを評価するために十分に研究されていない。 抽象構文木を利用して,Pythonのコード補完における静的エラーを定量化する静的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-05T19:23:34Z)
• FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding [89.92513889132825]
  本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。 評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2021-09-27T00:57:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。