論文の概要: API Benchmark Scores Do Not Reliably Transfer to Chatbot Interfaces
- arxiv url: http://arxiv.org/abs/2609.08861v2
- Date: Tue, 15 Sep 2026 04:39:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.059283
- Title: API Benchmark Scores Do Not Reliably Transfer to Chatbot Interfaces
- Title（参考訳）: APIベンチマークスコアはチャットボットインターフェースに確実に移行しない
- Abstract要約: ベンチマークスコアの主な前提は、APIを通じて測定されたモデルパフォーマンスが、デプロイされたシステムの振る舞いを忠実に反映していることである。
APIの体系的な違いは,正確性と一貫性の両面にある。
ChatGPTでは、APIとインターフェースアクセスのパフォーマンスの違いは、APIのみの違いであるGPT 5.3とGPT 5.4に匹敵する。
- 参考スコア（独自算出の注目度）: 34.03423347846195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmark scores are a central currency in model releases: they inform purchasing decisions, shape public trust, and influence policy. Yet, a key assumption underlying benchmark scores is that the model performance measured through APIs faithfully reflects the behavior of deployed systems. We challenge this assumption by auditing ChatGPT, Claude, and Gemini across seven systems and nine benchmarks spanning general capability, social bias, and sycophancy. We find systematic API--interface differences in both accuracy and consistency. On average, API evaluations score 3.4 percentage points higher in accuracy and 2.1 percentage points higher in test--retest agreement than corresponding interface evaluations. For ChatGPT, the performance difference between API and interface access rivals the API-only difference between GPT 5.3 and GPT 5.4. Put differently, switching access surfaces can degrade performance as much as downgrading a full model generation. We further test whether exposed API controls can reproduce interface behavior by varying system prompts, sampling parameters, and reasoning settings. These controls shift behavior in some cases but do not reliably eliminate the gap. Our findings document a context-validity gap: measurements obtained through APIs do not necessarily generalize to corresponding deployed interfaces, complicating the use of API evaluations as proxies for deployed systems.
- Abstract（参考訳）: ベンチマークスコアはモデルリリースにおける中心的な通貨である。
しかし、ベンチマークスコアの重要な前提は、APIを通じて測定されたモデルパフォーマンスが、デプロイされたシステムの振る舞いを忠実に反映しているということだ。
本稿では,ChatGPT,Claude,Geminiの7つのシステムと,一般能力,社会的偏見,梅毒を対象とする9つのベンチマークを監査することで,この仮定に挑戦する。
精度と整合性の両方において,API-インターフェースの体系的な違いが見出され,平均的なAPI評価では,精度が3.4ポイント,信頼度が2.1ポイント,信頼度が対応するインターフェース評価よりも高い。
ChatGPTでは、APIとインターフェースアクセスのパフォーマンスの違いは、APIのみの違いであるGPT 5.3とGPT 5.4に匹敵する。
言い換えれば、アクセス面の切り替えは、完全なモデル生成をダウングレードするだけでなく、パフォーマンスを低下させる可能性がある。
さらに、公開APIコントロールが様々なシステムプロンプト、パラメータのサンプリング、推論設定によってインタフェースの動作を再現できるかどうかを検証する。
これらは、いくつかのケースではシフトの挙動を制御するが、ギャップを確実に排除しない。
APIを通じて得られた測定は、必ずしも対応するデプロイインターフェースに一般化するわけではなく、デプロイされたシステムのためのプロキシとしてAPI評価を使用することが複雑である。
関連論文リスト
- What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations) [1.0499611180329804]
私たちは、ChatGPTのチャットUIとOpenAIのAPIの2つのモダリティを、Web検索を有効に/しないで比較した。
例えば、チャットUIレスポンスは、検索を無効にした両方のベンチマークのAPIレスポンスよりも正確ではなかった。
AIの安全性評価は、モダリティ、マルチラン一貫性、探索条件、応答レベルの振る舞いを体系的に考慮すべきである、と我々は主張する。
論文 参考訳（メタデータ） (2026-08-06T15:58:32Z) - FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。
各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。
FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-30T10:21:20Z) - APISENSOR: Robust Discovery of Web API from Runtime Traffic Logs [10.620853813098503]
APISENSORは、教師なしのアプリケーションAPIを再構築するブラックボックスAPIディスカバリフレームワークである。
混合交通騒音を模擬した1万以上のランタイム要求を用いて,6つのWebアプリケーションを対象にAPISENSORを評価した。
その結果、APISENSorは発見精度を著しく改善し、平均的なグループ精度95.92%、F1スコア94.91%を達成した。
論文 参考訳（メタデータ） (2026-03-25T02:30:45Z) - UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。
UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
論文 参考訳（メタデータ） (2026-03-24T13:01:31Z) - LLM Spirals of Delusion: A Benchmarking Audit Study of AI Chatbot Interfaces [0.0]
56の20ターン会話テストChatGPT-4oとChatGPT-5をAPIとチャットインターフェースを介して実行します。
また,ChatGPT-5では,ChatGPT-4oよりも梅毒,エスカレーション,妄想の強化が低いことが判明した。
更新されたモデルでさえ相当量のネガティブな振る舞いを示しており、モデルの改善がモデルの安全性を示唆しないことを示している。
論文 参考訳（メタデータ） (2026-02-20T15:48:56Z) - What Do Agents Learn from Trajectory-SFT: Semantics or Interfaces? [32.72487312750579]
最小限の書き直し環境インタフェースによるインタフェース依存の診断のためのプロトコルレベルの評価拡張であるPIPEを提案する。
AgentBenchとAgentGymの16の環境と、さまざまなオープンソースおよびAPIベースのエージェントから、PIPEは、trajectory-SFTがインターフェイスショートカットを大幅に増幅することを明らかにした。
さらに、トレーニング時間インタフェースの嗜好を定量化する対等なエイリアスに基づく計量であるInterface Reliance(IR)を導入する。
論文 参考訳（メタデータ） (2026-02-02T04:02:03Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳（メタデータ） (2025-08-29T07:40:39Z) - SEAL: Suite for Evaluating API-use of LLMs [1.2528321519119252]
SEALは、現実世界のAPI使用時に大きな言語モデルを評価するように設計されたエンドツーエンドのテストベッドである。
既存のベンチマークを標準化し、API検索と計画をテストするエージェントシステムを統合し、リアルタイムAPIの不安定性に対処する。
論文 参考訳（メタデータ） (2024-09-23T20:16:49Z) - DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。
DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。
DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
論文 参考訳（メタデータ） (2023-07-04T01:34:41Z) - DAPPER: Label-Free Performance Estimation after Personalization for
Heterogeneous Mobile Sensing [95.18236298557721]
DAPPER(Domain AdaPtation Performance EstimatoR)を提案する。
実世界の6つのベースラインと比較した4つのセンシングデータセットによる評価の結果,DAPPERの精度は39.8%向上した。
論文 参考訳（メタデータ） (2021-11-22T08:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。