論文の概要: PaMIR: Open Benchmark of Public Credit-Default Datasets
- arxiv url: http://arxiv.org/abs/2610.03259v1
- Date: Fri, 02 Oct 2026 13:04:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.3795
- Title: PaMIR: Open Benchmark of Public Credit-Default Datasets
- Title（参考訳）: PaMIR: パブリッククレジット-デフォルトデータセットのオープンベンチマーク
- Abstract要約: PaMIRは、ラベルが不足して遅刻した場合の信用デフォルト予測のためのオープンベンチマークである。
PaMIRは19のパブリックデータセットとバイナリデフォルトラベルを提供する。
すべてのモデルは単一の関数であり、繰り返しi.i.d.スプリットとラベルが遅延したストリームの下でスコアされる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We release PaMIR (Public Arrival-ordered Measurement for Inference in Risk), an open benchmark for credit-default prediction when labels are scarce and arrive late. The field's reference benchmark studies use eight datasets each, only two or four of them public. PaMIR brings together 19 public datasets with binary default labels -- 1.24M loans, firms and card accounts from nine countries -- rebuilt from pinned source snapshots by one leakage-audited recipe and never redistributed; to our knowledge it is the one of its kind as of today. Every model is a single function, scored under a repeated i.i.d. split and a label-delayed stream in which each application is scored on arrival, with AUC reported by label budget; fleet means are withheld unless every dataset is scored. A synthetic-data harness tests generated training rows without letting a generator see held-out rows. This report describes release 0.4.0 of this living benchmark.
- Abstract（参考訳）: PaMIR(Public Arrival-ordered Measurement for Inference in Risk)は,ラベルが不足して遅れた場合に,クレジットデフォルト予測のためのオープンベンチマークである。
フィールドの基準ベンチマークでは、それぞれ8つのデータセットを使用し、そのうち2つか4つしか公開されていない。
PaMIRは、19の公開データセットとバイナリデフォルトラベル(9カ国のローン、企業、カードアカウント)をまとめて、ソーススナップショットを1つのリーク監査されたレシピによって再構築し、再配布することはない。
各モデルは1つの関数であり、繰り返し i.d. 分割と、各アプリケーションが到着時に得点されるラベル遅延ストリームの下でスコアされ、ラベル予算によってAUCが報告される。
合成データハーネステストは、ジェネレータがホールドアウト行を見ることなく、トレーニング行を生成する。
本報告では、このライブベンチマークのリリース0.4.0について説明する。
関連論文リスト
- Benchmarking Vision-Language Models on Synapse Detection and Proofreading in Connectomics [58.333975726458334]
我々は、電子顕微鏡画像のコネクトロミクスにおける検査において、アノテータが取る決定について、視覚言語モデル(VLM)をベンチマークした。
シナプス検出には, 様々なアーキテクチャ, サイズにまたがる19のオープンモデルと2つのクローズドモデルを評価した。
検証のために,ConnectomeBench2データセット上で3つのオープンモデルと2つのクローズドモデルを評価した。
論文 参考訳（メタデータ） (2026-09-29T01:48:42Z) - Generating a Consistent Enterprise: Synthesis and Reference-Free Evaluation of Multi-System Business Data [0.0]
本稿では,両端に実際のデータセットを持たないジェネレータについて述べる。
従業員、顧客ベース、販売契約、チケットのサポート、通話記録、チャットメッセージ、ドキュメントなど、完全なフィクション企業を生み出している。
第2のジェネレータは、ビジネス質問のリストからリレーショナルデータベースを構築する。
論文 参考訳（メタデータ） (2026-09-10T09:17:21Z) - Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳（メタデータ） (2026-09-03T17:59:43Z) - SoK: Where Do Flow Labels Come From? Auditing Label Provenance in Encrypted Traffic Benchmarks [5.044786941116112]
暗号化されたトラフィック分類は、トランスポート層オブザーバブルからのフローレコードを超えたセマンティクスを推論する。
近年の体系化では、モデルインプットとデータ分割を精査し、補完ラベル側を体系化している。
14のベンチマーク項目で2つの繰り返しラベル側戦略を同定した。
論文 参考訳（メタデータ） (2026-09-02T05:51:42Z) - On Scope Classification and Current Knowledge-Editing Benchmarks: A Negative Result, with INLAY as a Gradient-Free Case Study [0.0]
INLAYは、クエリごとの正確な真実を得るために作られた勾配のないエディタである。
我々は3つのデータセットと3つの入力条件にまたがる1,689のクエリに対して、すべての候補ルータアクションを実行する。
棄権は1,689回中0回のみの勝利である。
論文 参考訳（メタデータ） (2026-08-26T18:16:24Z) - What Twelve LLM Agent Benchmark Papers Disclose About Themselves: A Pilot Audit and an Open Scoring Schema [0.0]
筆者らは、よく知られた12のLSMエージェントベンチマーク論文を読み、各論文が実際にどのように評価されたか、寸法によって記録した。
私たちは、小さな監査スキーマを設計しました(5つのフィールド:ベンチマークアイデンティティ、ハーネス仕様、推論設定、コストレポート、障害の分解)。
我々はエージェントランの開示を正当性ではなくスコア付けし、開示が信頼できる結果を意味するという主張をしない。
論文 参考訳（メタデータ） (2026-05-20T17:02:36Z) - vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。
本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。
完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
論文 参考訳（メタデータ） (2026-03-14T14:38:53Z) - Fact Checking Beyond Training Set [64.88575826304024]
本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。
本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。
次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
論文 参考訳（メタデータ） (2024-03-27T15:15:14Z) - BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of
Faithfulness Metrics [70.52570641514146]
不誠実な最小対 (BUMP) のベンチマークを示す。
BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。
非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
論文 参考訳（メタデータ） (2022-12-20T02:17:30Z) - Extending the WILDS Benchmark for Unsupervised Adaptation [186.90399201508953]
We present the WILDS 2.0 update, which extends 8 of the 10 datasets in the WILDS benchmark of distribution shifts to include curated unlabeled data。
これらのデータセットは、組織学から野生生物保護まで幅広い応用、タスク(分類、回帰、検出)、モダリティにまたがる。
ドメイン不変量や自己学習,自己管理など,ラベルのないデータを活用する最先端の手法を体系的にベンチマークする。
論文 参考訳（メタデータ） (2021-12-09T18:32:38Z) - Detecting Handwritten Mathematical Terms with Sensor Based Data [71.84852429039881]
本稿では,手書きの数学的用語を自動分類する,スタビロによるUbiComp 2021チャレンジの解を提案する。
入力データセットには異なるライターのデータが含まれており、ラベル文字列は合計15の異なる文字から構成されている。
論文 参考訳（メタデータ） (2021-09-12T19:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。