Fugu-MT 論文翻訳(概要): Noise Floor Audit for Agent Benchmarks

論文の概要: Noise Floor Audit for Agent Benchmarks

arxiv url: http://arxiv.org/abs/2608.22331v1
Date: Sun, 23 Aug 2026 10:00:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-25 13:29:43.721051
Title: Noise Floor Audit for Agent Benchmarks
Title（参考訳）: エージェントベンチマークのための騒音床監査
Abstract要約: 公式なBFCL多重および並列のカテゴリで,2つのプロバイダにまたがる3つのネイティブツールコールエンドポイントの測定ばらつきを評価した。温度 0 では、再実行はほぼ決定論的であり、Groq の終点と思考可能な Gemini の設定にまたがる。
参考スコア（独自算出の注目度）: 12.742365938887874
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We audit measurement variability for 3 native tool-calling endpoints across 2 providers on the official BFCL multiple and parallel categories, using matched AST grading. At temperature 0, reruns are nearly deterministic across Groq endpoints and a thinking-enabled Gemini setting: ever-flip fractions are 0.7%, 2.0%, and 2.7%, with mean run correlations of 0.997, 0.966, and 0.961. Semantics-preserving prompt perturbations create the larger floor on all endpoints, with median perturbation paired SDs 11x to 58x larger than rerun paired SDs. The failure character also shifts: malformed-output failures account for 30%, 7%, and <1% of task failures, so marginal accuracy hides not only stability but also failure mode.
Abstract（参考訳）: 公式なBFCL多重および並列のカテゴリで,2つのプロバイダにまたがる3つのネイティブツールコールエンドポイントに対して,一致したASTグレーディングを用いて測定変数を監査した。温度0では、再実行はほぼ決定論的であり、Groqの終端と思考可能なジェミニの設定で、常にフリップする割合は0.7%、2.0%、そして2.7%であり、平均実行相関は0.997、0.966、0.961である。セマンティックス保存の急激な摂動は全ての終端により大きなフロアを形成し、中央の摂動はペアSDの11xから58倍の大きさである。異常出力障害はタスク障害の30%,7%,<1%を占めるため,限界精度は安定性だけでなく,障害モードも隠蔽する。

関連論文リスト

Real-Time Detection and Repair of LLM Agent Failures [0.0]
LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。 1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
論文参考訳（メタデータ） (2026-08-03T16:34:46Z)
Leakage-Robust Evaluation and Data-Scale Sensitivity of Attention-Enhanced Multi-Task Learning for Joint Fault Diagnosis and Remaining Useful Life Estimation [0.0]
マルチタスクディープラーニングモデルは、スライディングウィンドウシーケンスがトレーニングとテストセットにどのように分割されるかによって影響を受ける可能性がある。ナイーブな分割は、真の20-60%から99.9%に分類精度を低下させる可能性がある。チャンクベース・リーク監査分割プロトコルを導入し,5種の種子,片方向ANOVA,Tukey HSDテストを用いて全モデルを評価した。
論文参考訳（メタデータ） (2026-07-17T20:33:36Z)
The Gentle Collapse: Distributional Metrics for Continual Learning [7.30570760963699]
本報告では, 真のラベルランク(TLR), 予測信頼度, および, 連続的な忘れを特徴付ける分布の分散度にまたがる6つのソフトマックス由来の指標について紹介する。 CIFAR-100では、これらの指標が正確でない情報を持っている:0%の精度で、Confusion Marginは[0.32, 0.50]のICCにまたがっており、精度は同じである。損失重みとして使用されるサンプル単位のスコアは、CIFAR-100上の統一経験リプレイ(ER)よりも1.3ポイント少ない。
論文参考訳（メタデータ） (2026-06-23T20:53:06Z)
Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文参考訳（メタデータ） (2026-05-20T19:08:38Z)
Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文参考訳（メタデータ） (2026-05-15T17:08:27Z)
ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models [0.0]
幻覚ベンチマークは、単一のエラーカウントを報告し、すべてのエラーを同等として扱うが、間違った日付と偽の裁判所判決は、桁違いに異なる。 Errorquake-10kは、8つのドメインと5つの難易度からなる連続的な0-4重度尺度で各応答をスコアするベンチマークである。
論文参考訳（メタデータ） (2026-04-15T09:22:46Z)
Benchmarking IoT Time-Series AD with Event-Level Augmentations [34.864214444544565]
実世界の問題をシミュレートする統合されたイベントレベル拡張による評価プロトコルを提案する。 5つの公開異常データセット上で14の代表的なモデルを評価する。
論文参考訳（メタデータ） (2026-02-17T09:45:44Z)
Multi-Task Deep Learning for Surface Metrology [0.0]
表面テクスチャパラメータを予測するために,再現可能な深層学習フレームワークを提案する。不確実性は、量子的およびヘテロセダスティックなヘッドによってモデル化され、ポストホック共形キャリブレーションにより、キャリブレーションされた間隔が生成される。
論文参考訳（メタデータ） (2025-10-23T08:38:18Z)
Impact of Labeling Inaccuracy and Image Noise on Tooth Segmentation in Panoramic Radiographs using Federated, Centralized and Local Learning [46.232038247686745]
フェデレートラーニング(FL)は、歯科診断AIにおけるプライバシー制約、不均一なデータ品質、一貫性のないラベル付けを緩和する。複数のデータ破損シナリオを対象としたパノラマX線撮影において,FLと集中学習(CL)と局所学習(LL)を比較した。
論文参考訳（メタデータ） (2025-09-08T11:07:47Z)
Predicting Overtakes in Trucks Using CAN Data [51.28632782308621]
CANデータからトラックの積載量の検出について検討する。私たちの分析では、オーバーテイクイベントの最大10秒前をカバーしています。我々は、オーバーテイク・トリガーに近づくと、オーバーテイク・クラスの予測スコアが増加する傾向にあることを観察する。
論文参考訳（メタデータ） (2024-04-08T17:58:22Z)
Certified Error Control of Candidate Set Pruning for Two-Stage Relevance Ranking [57.42241521034744]
本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
論文参考訳（メタデータ） (2022-05-19T16:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。