論文の概要: ReuScope: Auditing Data Reuse and Evaluation Sensitivity in Capsule Vision 2024
- arxiv url: http://arxiv.org/abs/2610.41835v1
- Date: Fri, 30 Oct 2026 14:51:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.779101
- Title: ReuScope: Auditing Data Reuse and Evaluation Sensitivity in Capsule Vision 2024
- Title（参考訳）: ReuScope: カプセルビジョン2024におけるデータ再利用と評価感度の評価
- Abstract要約: 本研究では,Capsule Vision 2024をケーススタディとして,データの再利用と評価の感度を監査するためのプロトコルを開発した。
バイトIDファイルは、パブリックトレーニングバリデーション境界を越えており、両方のパーティションでフレームにコントリビュートする41のKvasir-Capsuleレコードが実行される。
Kvasir-Capsuleによる全てのトレーニング行を削除し、他のソースからの5行をほぼマッチとマークし、公開バリデーションの精度を82.5%から61.2%に下げた。
- 参考スコア（独自算出の注目度）: 13.168179025082834
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop ReuScope, a protocol for auditing data reuse and evaluation sensitivity, using Capsule Vision 2024 as a case study. It combines measurements of data relationships with two comparisons: changing the evaluation population while holding predictions fixed, and changing training data while holding evaluation fixed. Byte-identical files cross the public training-validation boundary, and all 41 Kvasir-Capsule recordings that contribute frames occur in both partitions. Shared source recordings establish cross-split overlap; missing cross-recording patient identifiers prevent counting unique shared patients. Across ten paired seeds, removing all training rows attributed to Kvasir-Capsule, plus five rows from other sources flagged as near-matches to it, lowers public-validation balanced accuracy from 82.5% to 61.2%. Evaluating the same fitted models on the validation rows of the other sources reverses the comparison: removal improves balanced accuracy by 1.38 percentage points. The public-validation drop measures sensitivity to source removal, not an amount of leakage-induced inflation. Matched controls show that sample size and class counts alone do not explain the observed score differences. An exploratory experiment removes the training neighbors of validation frames that have close training matches, or equally many distant training rows, and yields a difference-in-differences estimate, relative to matched unflagged frames, of -0.355 percentage points in true-class probability; the paired-t interval for accuracy spans zero. The resulting procedure distinguishes observed reuse from conditional performance sensitivity and specifies the population, class support and uncertainty unit for each conclusion.
- Abstract（参考訳）: 本研究では,データ再利用と評価感度を監査するプロトコルであるReuScopeをケーススタディとして,カプセルビジョン2024を用いて開発する。
これは、データ関係の測定と、予測を定めながら評価人口を変更することと、評価を定めながらトレーニングデータを変更することの2つの比較を組み合わせる。
バイトIDファイルは、パブリックトレーニングバリデーション境界を越えており、両方のパーティションでフレームにコントリビュートする41のKvasir-Capsuleレコードが実行される。
共有音源記録は、クロススプリット・オーバーラップを確立し、クロスレコードされた患者識別子が欠如しているため、ユニークな共有患者が数えられなくなる。
10対の種子にまたがって、クヴァシル・カプセルに由来する訓練列を全て取り除き、それに近縁とマークされた他のソースから5行の行を取り除き、パブリック・バリデーションの精度を82.5%から61.2%に下げた。
他のソースの検証行で同じ適合したモデルを評価すると、比較が逆になる: 削除はバランスの取れた精度を1.38ポイント改善する。
パブリック・バリデーション・ドロップは、流出によって引き起こされるインフレーションの量ではなく、ソース除去に対する感度を測定する。
一致した制御は、サンプルのサイズとクラス数だけで観察されたスコアの違いを説明できないことを示している。
探索実験では、近接トレーニングマッチまたは等しく多くの遠距離トレーニング行を有する検証フレームの訓練隣人を除去し、一致した未フラグフレームに対して、真クラス確率で-0.355ポイントの差分差分推定値を得る。
得られた手順は、観察された再利用と条件付き性能感度を区別し、各結論に対する集団、クラスサポート、不確実性ユニットを特定する。
関連論文リスト
- CÆNL: Collapse-Based Active Neural Learning with Objective-Aligned Representation Control [2.28438857884398]
アクティブラーニングは、後続のラベルを取得するために使われる表現を変更する。
我々は、この相互作用をCNL(Collapse-Based Active Neural Learning)を通して研究し、獲得、動的崩壊規則化(Dynamic Collapse Regularization、DCR)とその係数ポリシーを分離する。
6シードの分類比較は2つのバックボーンのそれぞれに対して、別個の制御選択と10シードの評価による104ランの試験によって補完される。
論文 参考訳（メタデータ） (2026-10-13T00:12:58Z) - Where Do Two Populations of Persistence Diagrams Differ? Calibrated Local Inference at a Fixed Budget [35.18016233072556]
パーシステンス・ダイアグラムの集団に対する多くの2サンプル試験は、それらに寄与する生死面の領域を特定することなく、世界的差異を評価する。
利用可能な図の数が固定された場合の局所平均コントラストの同時推定について検討する。
論文 参考訳（メタデータ） (2026-10-06T13:00:00Z) - Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳（メタデータ） (2026-09-30T16:40:22Z) - Behavioral Convergence Without Representational Convergence: Persistent Training-History Dependence in Neural Networks [0.0]
同じ最終目標に向けてトレーニングされたニューラルネットワークは、以前のトレーニング履歴によって形作られた内部表現を保持しながら、同様の予測性能に達することができる。
この効果は、ペアの畳み込みネットワークが同一の重みから始まり、逆タスクオーダを経験し、同じ共通相対分布を受信する、制御された逐次学習実験を用いて検討する。
論文 参考訳（メタデータ） (2026-09-29T15:38:10Z) - What Paired Evaluations Reveal under Visual Perturbations [13.133964855941576]
ロバストネス評価は多様な視覚的摂動を検査する必要があるが、ベンチマークは実際の条件のみをカバーし、物理的なテストはコストがかかる。
この画像対応性は, 対評価結果の解釈と, 物理試験用サンプルの優先順位付けという, 強靭性評価の2つのニーズをサポートするかを検討した。
論文 参考訳（メタデータ） (2026-09-28T16:37:11Z) - When 10,000 Windows Are Not 10,000 Tests: Auditing Statistical Confidence in Sliding-Window Time-Series Classification [6.218265303797788]
本報告では,観察記録,観察対象の今後の記録,観察対象の未確認記録にパフォーマンスをマッピングする実践的な監査を行う。
75%のオーバーラップで、制御されたシミュレーションは16.9%のType-Iエラーを与える。
凍結WISDMとHARTH予測の監査では、テスト行の4倍近い成長は1.75-1.94倍の分散等価情報の成長しか得られない。
論文 参考訳（メタデータ） (2026-09-25T02:49:00Z) - When a High Score Is an Illusion: Certifying Genuine versus Repackaged Forecasting Skill [0.6372261626436676]
特定人口階級のコントラストの関連性を維持する課題を特徴付ける。
北京の大気質アーカイブでは、7つの学習した予測の共有スコアのうち、91.4%から94.5%の相互作用が報告されている。
論文 参考訳（メタデータ） (2026-09-16T13:51:41Z) - Automated binary classification of hazelnut X-ray images: A deep-learning benchmark for quality assessment [33.72751145910978]
非破壊的なX線撮影では、外部検査だけでは検出が難しい内部のハゼルナッツの欠陥が明らかになる。
799セグメントのシングルカーネルX線画像に基づくバイナリ・ヘーゼルナットの品質分類のベンチマークを提案する。
論文 参考訳（メタデータ） (2026-08-12T07:55:22Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。
禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。
我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
論文 参考訳（メタデータ） (2020-10-27T08:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。