論文の概要: Beyond Leaderboards: A Method for Application-Specific Capability Profiling of Large Language Models

• arxiv url: http://arxiv.org/abs/2610.25659v1
• Date: Mon, 19 Oct 2026 02:05:58 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:04:53.467253
• Title: Beyond Leaderboards: A Method for Application-Specific Capability Profiling of Large Language Models
• Title（参考訳）: リーダーボードを超えて - 大規模言語モデルのアプリケーション固有の機能プロファイリング方法
• Abstract要約: パブリックなリーダーボードは、一般に大きな言語モデル(LLM)をランク付けするが、エンジニアは特定のアプリケーション、アーキテクチャ、コストのモデルを選択する必要がある。 本稿では,LLMのアプリケーション固有の機能プロファイリング法とそのコンテナ化テストベッドとしての実現について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Public leaderboards rank large language models (LLMs) in general, but an engineer has to choose a model for a specific application, architecture and cost. This paper presents a method for application-specific capability profiling of LLMs and its realization as a containerized testbed. The method treats each application as a unit of extension: an Oracle-to-PostgreSQL migration agent, a documentation-grounded chatbot or an enterprise-support automation agent runs in its own container behind a small contract, brings its own dataset, evaluator and owned attributes, and is onboarded together with its dashboards. Measurements accumulate in a versioned, sparse metamodel of every model. The method separates the model under test from judges and agents, freezes and hashes plans, refuses to compare values from different contexts, diagnoses the instrument before the system, and applies a null-agent check and a noise rule whose operating characteristics are quantified by simulation. In the evaluated automation conditions, model choices produced larger differences on selected observable outcomes than framework choices, although the experimental design does not establish a general causal ranking of these factors. The experiments also show that instruction tuning is deployment-specific and that system-reported success can exceed independently observed success: of 216 migration units checked against a real Oracle database, 108 were demonstrably correct. These measurements establish application-specific observations, not a universal model ranking.
• Abstract（参考訳）: パブリックなリーダーボードは、一般に大きな言語モデル(LLM)をランク付けするが、エンジニアは特定のアプリケーション、アーキテクチャ、コストのモデルを選択する必要がある。 本稿では,LLMのアプリケーション固有の機能プロファイリング法とそのコンテナ化テストベッドとしての実現について述べる。 Oracle-to-PostgreSQL移行エージェント、ドキュメントベースチャットボット、あるいはエンタープライズサポート自動化エージェントは、小さな契約の裏側にある独自のコンテナ内で動作し、独自のデータセット、評価器、所有属性を持ち込み、ダッシュボードと共にオンボードされる。 測定結果は、すべてのモデルのバージョニングされたスパースメタモデルに蓄積されます。 この方法は、試験対象のモデルを審査員やエージェントから切り離し、凍結・ハッシュ計画を行い、異なる文脈からの値の比較を拒み、システムの前に機器を診断し、シミュレーションによって操作特性が定量化されるノイズルールを適用する。 評価された自動化条件において、モデル選択は、フレームワーク選択よりも、選択した観測可能な結果に大きな違いをもたらしたが、実験設計はこれらの要因の一般的な因果的ランキングを確立していない。 実際のOracleデータベースに対してチェックされた216の移行ユニットのうち、108は明らかに正確だった。 これらの測定により、普遍的なモデルランキングではなく、応用特異的な観測が確立される。

関連論文リスト

• Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
  大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。 ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-10-08T08:26:46Z)
• DAREBench: Deployment-Aware and Reliable Evaluation of Models as Agents [16.576661790025668]
  DAREBenchは、ワークロードの変動を捉え、信頼できるエージェント評価をサポートするために設計されたベンチマークである。 単一のモデルがすべてのワークロードグループ、テキスト、マルチモーダルタスクを支配しているわけではない。 これらの結果は、エージェントのデプロイメントとモデルの選択は、ワークロードプロファイル、デプロイメントモード、精度の高いトレードオフを考慮するべきであることを示唆している。
  論文  参考訳（メタデータ） (2026-09-05T12:36:59Z)
• Towards Agentic Agent-based Models: Feasibility, Performance, and Statistical Model Checking [0.42025549992700273]
  エージェントベースモデル(ABM)は、個々の意思決定にシンプルで明示的で再現可能なルールに依存している。 大規模言語モデル(LLM)の最近の進歩は、これらのルールをLLMベースのエージェント機能で置き換えたり、強化したり、摂動したりすることを誘惑させる。 本研究では,LSMによる意思決定の導入がABMシミュレーションの信頼性,計算コスト,動作に与える影響について検討する。
  論文  参考訳（メタデータ） (2026-07-20T13:49:51Z)
• Can large language models assist choice modelling? Insights into prompting strategies and current models capabilities [0.0]
  大規模言語モデル(LLM)は様々な分野をサポートするために広く使われているが、その選択肢モデリングの可能性はいまだに解明されていない。 本研究は, LLMの仕様における補助エージェントとしての可能性を検討するとともに, 技術的に実現可能なマルチノードロジットモデルの推定を行う。
  論文  参考訳（メタデータ） (2025-07-29T13:24:44Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• OLMES: A Standard for Language Model Evaluations [64.85905119836818]
  OLMESは、再現可能な言語モデル評価のための文書化された、実用的な、オープンな標準である。 これは、複数の質問の非自然的な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。 OLMESには、既存の文献の結果によってガイドされた、よく考えられたドキュメント化されたレコメンデーションと、オープンな質問を解決する新しい実験が含まれている。
  論文  参考訳（メタデータ） (2024-06-12T17:37:09Z)
• Entity Matching using Large Language Models [3.7277730514654555]
  本稿では, PLM ベースのマーカに代わる, タスク固有の訓練データ依存モデルとして, LLM (Generative Large Language Model) を用いて検討する。 GPT4は一致判定のための構造化された説明を生成でき、一致した誤りの原因を自動的に特定できることを示す。
  論文  参考訳（メタデータ） (2023-10-17T13:12:32Z)
• Predicting is not Understanding: Recognizing and Addressing Underspecification in Machine Learning [47.651130958272155]
  下位仕様とは、ドメイン内の精度で区別できない複数のモデルの存在を指す。 我々は、不特定概念を形式化し、それを特定し、部分的に対処する方法を提案する。
  論文  参考訳（メタデータ） (2022-07-06T11:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。