論文の概要: Label Agreement Does Not Measure Authorization

• arxiv url: http://arxiv.org/abs/2610.04544v1
• Date: Sat, 03 Oct 2026 14:17:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 18:56:39.174506
• Title: Label Agreement Does Not Measure Authorization
• Title（参考訳）: ラベル契約は認可を測らない
• Abstract要約: ラベル契約は、提案されたラベルが参照と一致するかどうかを問う。 エージェントが提案する権利があるのか、そのアウトプットが実行に十分なのか、あるいは証拠が移動したときにラベルが移動したのかは問わない。 これらの特性を分離し、それぞれをコントロールと組み合わせ、結果に対するゲートのコミットメントを計測し、失敗を目に見えるものにし、人へのルートを容易にします。
• 参考スコア（独自算出の注目度）: 0.13999481573773073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many groups now delegate label ontology and metadata harmonization to agentic LLM pipelines. We built one and audited it. Our aggregate scores looked healthy, but the pipeline kept failing in ways they did not show, so we set out to find what they hid. Label agreement asks whether a proposed label matches a reference. It does not ask whether the agent was entitled to propose it, whether the output was complete enough to act on, or whether the label moved when the evidence moved. We measured those three separately on COBRE and FBIRN, two schizophrenia and control neuroimaging cohorts from different consortia, and they come apart, from label agreement and from each other. Showing the agent an upstream proposal barely moves label agreement, 0.857 to 0.870, while agreement on the chosen action doubles, 0.409 to 0.830. Output that parses as JSON still drops a required field on 10% of one model's cases and 33% of the other's. And an agent that replays its first answer scores perfectly on original cases and zero once we change the evidence that decides them. Downstream, a row-order error that none of these metrics reports erases most of the diagnostic signal. So we measure these properties apart, pair each with a control, and gate commitment on the result, which makes failures visible and easy to route to a person. None of this prevents failure. Our reference labels are rule-derived, so agreement with them means consistency, not correctness. Code is available at https://github.com/amir-sbg/Label-Agreement-Does-Not-Measure-Authorization.
• Abstract（参考訳）: 現在、多くのグループがラベルオントロジーとメタデータの調和をエージェントLLMパイプラインに委譲している。 私たちは1つを作り、それを監査した。 総得点は順調に見えましたが、パイプラインは表示できない方法で失敗し続けていました。 ラベル契約は、提案されたラベルが参照と一致するかどうかを問う。 エージェントが提案する権利があるのか、そのアウトプットが実行に十分なのか、あるいは証拠が移動したときにラベルが移動したのかは問わない。 我々はこれら3種を、COBREとFBIRNで別々に測定し、2つの統合失調症と異なるコンソーシアムからの神経画像コホートを制御し、ラベル合意と相互に分離した。 エージェントに上流の提案を示すことは、わずかにラベル契約 0.857 から 0.870 を移動させるが、選択されたアクションに関する合意は 0.409 から 0.830 に倍増する。 JSONとして解析する出力は、一方のモデルのケースの10%と他方のケースの33%で、依然として必要なフィールドを落としている。 そして、最初の答えをリプレイするエージェントは、それらを決定する証拠を変更したら、元のケースとゼロのスコアを完璧に記録する。 下流では、これらの指標のいずれもが報告していない行順エラーが診断信号の大半を消去する。 したがって、これらの特性を分離し、それぞれをコントロールと組み合わせ、結果に対するゲートのコミットメントを計測し、失敗を目に見えるものにし、人へのルートを容易にします。 いずれも失敗を防ぐものではない。 私たちの参照ラベルはルール由来なので、それらとの一致は一貫性を意味します。 コードはhttps://github.com/amir-sbg/Label-Agreement-Does-Not-Measure-Authorizationで入手できる。

関連論文リスト

• Trust Is Not a Score: Runtime Assurance Contracts for High-Risk AI Agents [0.0]
  本稿では,ポリシーレベルの形式的スキーマバインディング境界,コンポーネントの適性,エビデンス状態,遷移ポリシ,ヒューマンレビュー能力,非補償ゲートを提案する。 調整された保証契約(RAC)の下では、ソフトメトリクスはルーティングを通知するが、失敗または未知の強制ゲートフォースはリトライ、スイッチ、エスカレーション、デフェラル、ストップを行う。
  論文  参考訳（メタデータ） (2026-09-30T13:28:42Z)
• Used, Mentioned, or Condemned? A Controlled Contrast-Set Diagnostic for the Use-Mention Distinction in Code-Mixed Hinglish Misogyny Detection [0.0]
  我々はこの問題をコードミキシングされたヒングリッシュで研究する。 Hinglish-MGY-Diag, 決定論的ジェネレータ, 416-item/163-minimal-pair コントラストセット診断を行う。
  論文  参考訳（メタデータ） (2026-09-06T17:45:59Z)
• Public-Sharing Labels and Verbatim Field Egress in an MCP-to-A2A Agent Configuration: A Controlled Multi-Model Study [0.0]
  Model Context Protocolツールの使用のために別々に評価され、Agent2Agent(A2A)デリゲートは、エージェントが両方を使用するときの振る舞いを記述する必要はない。 一つの制御されたMCP-to-A2A構成でそのような挙動を計測する。
  論文  参考訳（メタデータ） (2026-09-01T16:24:11Z)
• Grounded Well-Condition Anomaly Detection on the Volve Field: Constructed Labels, a Baseline, and a Dual-Head Model [0.0]
  EquinorがリリースしたオープンなVolveフィールドデータで作業しています。 私たちは、フィールドのエンジニアリング文書が物理的に間違っていると言うことに対してチェックされる異常ラベルを構築します。 構築されたラベルが全く学べないかどうかをテストする。
  論文  参考訳（メタデータ） (2026-08-06T07:21:37Z)
• Appeal: Allow Mislabeled Samples the Chance to be Rectified in Partial Label Learning [55.4510979153023]
  部分ラベル学習(PLL)では、各インスタンスは候補ラベルのセットに関連付けられ、そのうち1つだけが接地真実である。 誤記されたサンプルの「アペアル」を支援するため,最初の魅力に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T09:09:52Z)
• Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification [85.76130799062379]
  偽陰性ラベルがモデルの説明にどのように影響するかを考察する。 本稿では,部分ラベルで学習したモデルの属性スコアを向上し,その説明をフルラベルで学習したモデルと類似させる。
  論文  参考訳（メタデータ） (2023-04-04T14:00:59Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。