論文の概要: What Does LOL Measure? Hidden Label Shifts in Low-Light Enhancement Benchmarks
- arxiv url: http://arxiv.org/abs/2610.38121v1
- Date: Wed, 28 Oct 2026 00:56:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.353625
- Title: What Does LOL Measure? Hidden Label Shifts in Low-Light Enhancement Benchmarks
- Title（参考訳）: LOLは何を測るのか? 低光強度ベンチマークにおける隠れラベルシフト
- Abstract要約: LOL-v1とLOLv2-Realは、教師付き低照度画像強調のための標準ベンチマークである。
両ベンチマークを18の公開チェックポイントで評価し、8つのメソッドを1つのメトリック実装で評価する。
テストラベルがトレーニングラベルと異なることが分かりました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LOL-v1 and LOLv2-Real are the standard benchmarks for supervised low-light image enhancement, and several leading methods ship hand-set test-time adjustments with their evaluation scripts. We audit both benchmarks with 18 public checkpoints of eight methods under one metric implementation that reproduces every published number to within 0.09 dB, and find that their test labels differ from their training labels. (i) The 15 LOL-v1 test labels are rendered differently: the same captures appear in LOLv2 with labels of identical luminance but 1.48x lower saturation, and LOL-v1's own training labels match the LOLv2 rendering; we confirm this on the official release. (ii) The LOLv2-Real test set is the contiguous block of images 690-789, whose labels are 14% darker than the training labels (Cliff's delta = -0.45, p < 1e-12) with no comparable shift in the input statistics we examined; methods trained without any labels score up to 5.5 dB higher on test than on train. (iii) All 15 LOL-v1 test inputs reappear in LOLv2-Real, 12 in its training set. The released test-time settings are consistent with compensating for these shifts. Separating what can be calibrated on training data from what only test-set tuning finds, the test-only residual has median 0.00 dB on LOLv2-Syn, which has no shift, but 0.37 dB on LOL-v1 and 0.92 dB on LOLv2-Real (up to 3.9 dB). Under the shift, test-set checkpoint selection inflates a from-scratch model by 0.9-2.0 dB, and removing the released settings changes which method ranks first. We give concrete reporting recommendations.
- Abstract（参考訳）: LOL-v1 と LOLv2-Real は、教師付き低照度画像強調のための標準ベンチマークであり、いくつかの主要な手法は、評価スクリプトで手動テスト時間調整を出荷している。
両ベンチマークを18の公開チェックポイントで評価し,各ベンチマークが0.09dB以内まで再現し,テストラベルがトレーニングラベルと異なることを確認する。
(i)LOL-v1テストラベル15は、同じ輝度のラベルでLOLv2に同じキャプチャが現れるが、飽和度は1.48倍で、LOL-v1自身のトレーニングラベルはLOLv2レンダリングと一致している。
(ii) LOLv2-Realテストセットは、690-789の画像の連続ブロックであり、ラベルは訓練ラベルよりも14%暗い(Cliff's delta = -0.45, p < 1e-12)。
3) LOLv2-Realで再現れる15のLOL-v1テスト入力は、トレーニングセットで12である。
リリースされたテスト時間設定は、これらのシフトの補償と一致している。
LOLv2-Synはシフトがないが、LOLv2-Realでは0.37dB、LOLv2-Realでは0.92dB(最大3.9dB)である。
このシフトの下で、テストセットチェックポイントの選択は、off-scratchモデルを0.9-2.0dBに膨らませ、メソッドが最初にランク付けする設定を削除します。
具体的な報告のレコメンデーションを提供します。
関連論文リスト
- Typed Decision Models under Prevalence Shift: Decision Training, Calibration, and Implicit Priors [0.0]
我々は、意思決定トレーニングが自身のバックボーンよりもモデルを改善するかどうか、TDMの校正と閾値が有病率(ラベル)シフトに耐えられるかどうかを問う。
3つのTDM(Jev,Tev1-4B,Ninmble-9B)とそのベースモデルと2つのトレーニングされた分類器を、シミュレートされたシフトの下で5つの公開データセットから同一の決定について比較する。
私たちがテストした3つのTDMは、背骨よりも均一に良いものでも、シフト中のユニークに壊れやすいものでもない。
論文 参考訳（メタデータ） (2026-10-19T13:01:20Z) - LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels [22.23301921278794]
ポストホック確率キャリブレーションは通常、楽観的な仮定の下で評価される。
本稿では,CPUのみのポストホックキャリブレータであるLWCalを提案する。
第2の変種であるGated-LWCalは、キャリブレーション分割が極めて矛盾しているように見えるとき、元のスコアに向かって後退する保守的な不一致ゲートを追加する。
論文 参考訳（メタデータ） (2026-09-22T00:41:17Z) - Discrete Diffusion Language Models Are Training-Free Multi-Label Classifiers [1.3406606730449597]
マルチラベルテキスト分類のための個別マスク付き拡散言語モデルを用いた訓練不要なdLLM-SetScoreを提案する。
各候補ラベルについて、短いイエス/ノー質問を行い、2つの回答トークンの確率を1つのマスクされた位置で比較する。
論文 参考訳（メタデータ） (2026-07-30T15:21:02Z) - A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving [0.0]
言語モデルの安全性評価は、サービス構成を固定されたバックグラウンドインフラストラクチャとして扱うことが多い。
我々は4つのアーティファクト支援研究をペアテストプロトコルに合成する。
標準vLLMは、現在のスコアフリップ候補に対して22/55ラベルのフリップを再生し、VLLM_BATCH_INIANT=1を有効にすることで、同じテストを0/55フリップに削減する。
論文 参考訳（メタデータ） (2026-05-26T23:22:55Z) - From Flows to Words: Can Zero-/Few-Shot LLMs Detect Network Intrusions? A Grammar-Constrained, Calibrated Evaluation on UNSW-NB15 [0.41998444721319217]
大規模言語モデル(LLM)は自然言語入力を推論できるが、微調整なしでの侵入検出におけるそれらの役割は未だ不明である。
本研究では、各ネットワークフローをコンパクトなテキストレコードに変換し、軽量でドメインにインスパイアされたフラグで拡張することで、プロンプトオンリーなアプローチを評価する。
ゼロショット,命令誘導,スプリットショットを比較して,同一のスプリット下での強い神経ベースライン,精度,精度,リコール,F1,マクロスコアを比較した。
論文 参考訳（メタデータ） (2025-10-18T02:11:50Z) - Test-Time Adaptation with Binary Feedback [50.20923012663613]
BiTTAは、不確実なサンプルに対するバイナリフィードバック誘導適応と、確実な予測に対する合意に基づく自己適応のバランスをとる、新しいデュアルパス最適化フレームワークである。
実験の結果、BiTTAは最先端のベースラインよりも13.3%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-05-24T05:24:10Z) - SoTA with Less: MCTS-Guided Sample Selection for Data-Efficient Visual Reasoning Self-Improvement [100.85923086072204]
我々はThinkLite-VLを紹介した。これは最先端(SoTA)パフォーマンスを実現する視覚推論モデルのファミリーで、トレーニングサンプルの桁数を桁違いに減らしている。
我々はMonte Carlo Tree Search (MCTS) を用いて、各インスタンスの解決に必要な視覚言語モデル(VLM)の推論反復数を用いてサンプルの難易度を測定する。
ThinkLite-VL-7BとThinkLite-VL-72Bは、8つの視覚的推論ベンチマークにおいて、それぞれのベースモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2025-04-10T17:49:05Z) - STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。
本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。
本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-22T16:25:41Z) - SSB: Simple but Strong Baseline for Boosting Performance of Open-Set
Semi-Supervised Learning [106.46648817126984]
本稿では,挑戦的で現実的なオープンセットSSL設定について検討する。
目標は、inlierを正しく分類し、outlierを検知することである。
信頼度の高い疑似ラベル付きデータを組み込むことで、不整合分類性能を大幅に改善できることが判明した。
論文 参考訳（メタデータ） (2023-11-17T15:14:40Z) - An analysis of over-sampling labeled data in semi-supervised learning
with FixMatch [66.34968300128631]
ほとんどの半教師付き学習手法は、ミニバッチを訓練する際にラベルをオーバーサンプルする。
本稿では,この実践が学習と方法を改善するかどうかを考察する。
ラベル付けの有無に関わらず、トレーニングデータから各ミニバッチを均一にサンプリングする別の設定と比較する。
論文 参考訳（メタデータ） (2022-01-03T12:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。