論文の概要: The record is part of the task: matched-record evaluation of text classifiers across maintenance, safety and recall reporting

• arxiv url: http://arxiv.org/abs/2609.16267v1
• Date: Mon, 14 Sep 2026 19:29:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.212727
• Title: The record is part of the task: matched-record evaluation of text classifiers across maintenance, safety and recall reporting
• Title（参考訳）: 記録はタスクの一部であり、メンテナンス、安全、リコールレポートにわたるテキスト分類器の一致記録評価
• Abstract要約: 我々は、GE Aerospaceの修理イベント、NASA ASRSの安全レポート、NHTSAの車両リコールの3つのシステムで、同じ事例の記録を比較した。 物語とは独立してラベルを付けるイベントの場合、保持されるマクロF1は0.33から0.91まで様々である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many operational cases are documented more than once, at different workflow stages and for different purposes, yet model evaluations normally select one of these records before model comparison begins. We treat that selection as part of the evaluation and compare matched records of the same cases under fixed labels and splits in three systems: GE Aerospace repair events, NASA ASRS safety reports and NHTSA vehicle recalls. Across the three GE fields, for events whose label comes from parts transactions independently of the narratives, held-out macro-F1 ranged from 0.33 to 0.91. A difference of 0.46 separated the customer report, written before shop work, from the technician report, written after diagnosis but before the transaction that generates the label. That difference is substantially larger than the representation and architecture differences tested on the same events. The public systems showed different patterns: the NHTSA defect summary remained strongest under every model family tested, whereas the ASRS analyst synopsis outperformed the reporter narrative under learned sequence models but not under lexical baselines. Secondary analyses showed that some model comparisons were also record-dependent. Evaluations should be run on the information available at the intended decision point and should report how both the record and the label were produced.
• Abstract（参考訳）: 多くの運用ケースは、異なるワークフローステージと異なる目的のために、1回以上ドキュメント化されますが、モデル比較が始まる前に、モデル評価は通常、これらのレコードのうちの1つを選択します。 我々は、GE Aerospaceの修理イベント、NASA ASRSの安全レポート、NHTSAの車両リコールの3つのシステムにおいて、その選択を評価の一部として扱い、同一事例の記録を固定ラベルで比較する。 3つのGEフィールド全体において、ラベルが物語とは独立してトランザクションするイベントは0.33から0.91の範囲で保持されるマクロF1である。 0.46の差は、営業前に書かれた顧客レポートと、診断後に書かれた、ラベルを生成する取引の前に書かれた技術者レポートとを区別している。 この違いは、同じイベントでテストされた表現とアーキテクチャの違いよりもはるかに大きい。 NHTSA欠陥の要約は、試験されたすべてのモデルファミリーで最強であり、ASRSアナリストのシナプスは、学習シーケンスモデルではレポーターの物語よりも優れていたが、語彙ベースラインでは優れていなかった。 二次分析の結果、いくつかのモデルの比較も記録に依存していることがわかった。 評価は、意図された決定ポイントで利用可能な情報に基づいて実行され、レコードとラベルの両方がどのように作成されたかを報告すべきである。

関連論文リスト

• SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
  SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。 正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。 変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
  論文  参考訳（メタデータ） (2026-08-04T13:16:15Z)
• TRACE: An Operational Reasoning Schema for Auditable Agentic Commitments [0.0]
  TRACE (Typed Reasoning And Commitment Evidence) は、推論トレースを記録するためのタイプ付きバージョン付きスキーマである。 論文は3つのレイヤで、推論は言語モデルにはない、と論じている。 レコード消費者契約は、レコードが保証するものと、その見返りに消費者が尊重すべきものを記述する。
  論文  参考訳（メタデータ） (2026-07-14T08:08:21Z)
• GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents [0.12430801435092285]
  GDP_pdfは、ドキュメントAI機能を直接測定するベンチマークである。 これは10分野の作業専門家によって書かれた質問文書対で構成されている。 100-itemベンチマークで17のフロンティアモデルの結果を報告する。
  論文  参考訳（メタデータ） (2026-07-13T07:44:07Z)
• UXBench: Measuring the Actionability of LLM-Generated UX Critiques [58.14408744110387]
  対話型UX判断器として大規模言語モデル(LLM)を評価するベンチマークであるUXBenchを紹介する。 UXBenchは10の製品表面のファミリーにまたがる、ローカルファーストで実行可能なウェブフィクスチャで構成されており、カバーゲートのルーリック探索と組み合わせている。 8つのフロンティアモデルについて,自動修理作業プロトコルと視覚障害者による検証実験の両方で評価した。
  論文  参考訳（メタデータ） (2026-06-15T06:08:39Z)
• Evaluation Cards: An Interpretive Layer for AI Evaluation Reporting [44.70980205167796]
  AI評価結果は大規模に作成されるが、リーダーボード、モデルカード、ベンチマーク論文、会社のブログ間で矛盾なく報告されている。 最近の取り組みでは、分離されたコンポーネントに対処するが、3つのギャップを残している: それらは評価ライフサイクルの狭いスライスのみをカバーし、単一の解釈可能なレコードに構成しない。 EvalCardsは、ベンチマークメタデータ、評価実行データ、モデルメタデータを統一されたレコードに構成する運用レポート層である。
  論文  参考訳（メタデータ） (2026-06-08T17:55:02Z)
• What Twelve LLM Agent Benchmark Papers Disclose About Themselves: A Pilot Audit and an Open Scoring Schema [0.0]
  筆者らは、よく知られた12のLSMエージェントベンチマーク論文を読み、各論文が実際にどのように評価されたか、寸法によって記録した。 私たちは、小さな監査スキーマを設計しました(5つのフィールド:ベンチマークアイデンティティ、ハーネス仕様、推論設定、コストレポート、障害の分解)。 我々はエージェントランの開示を正当性ではなくスコア付けし、開示が信頼できる結果を意味するという主張をしない。
  論文  参考訳（メタデータ） (2026-05-20T17:02:36Z)
• Rollout Cards: A Reproducibility Standard for Agent Research [15.381365113892848]
  論文は、レポートされたスコアでシステムを比較し、それらのスコアの背後にロールアウトレコードを残すことは、検査が困難である。 エージェント的なタスクでは、評価がロールアウトの異なる部分を選択したり、異なるレポートルールを適用する場合、同じ振る舞いが異なるレポートスコアを受け取ることができるため、これが重要です。 50の人気のあるトレーニングと評価レポジトリの構造化監査では、ヘッドラインスコアとともに、実行が失敗、エラー、あるいはスキップされた回数を報告していないことが判明した。
  論文  参考訳（メタデータ） (2026-05-12T13:54:31Z)
• Towards Personalized Review Summarization by Modeling Historical Reviews from Customer and Product Separately [59.61932899841944]
  レビュー要約(review summarization)は、Eコマースのウェブサイトで製品レビューのメインの考え方を要約することを目的とした、簡単ではないタスクである。 Heterogeneous Historical Review aware Review Summarization Model (HHRRS)を提案する。 我々は、レビュー感情分類と要約を共同で行うマルチタスクフレームワークを採用している。
  論文  参考訳（メタデータ） (2023-01-27T12:32:55Z)
• Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision [75.1860418333995]
  Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。 PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。 既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
  論文  参考訳（メタデータ） (2022-10-06T07:28:53Z)
• Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
  文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。 我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
  論文  参考訳（メタデータ） (2022-04-27T03:20:07Z)
• S3M: Siamese Stack (Trace) Similarity Measure [55.58269472099399]
  本稿では、深層学習に基づくスタックトレースの類似性を計算する最初のアプローチであるS3Mを紹介します。 BiLSTMエンコーダと、類似性を計算するための完全接続型分類器をベースとしている。 私たちの実験は、オープンソースデータとプライベートなJetBrainsデータセットの両方において、最先端のアプローチの優位性を示しています。
  論文  参考訳（メタデータ） (2021-03-18T21:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。