論文の概要: Baszta: Data-Centric Fine-Tuning of a Polish Multi-Label Safety Classifier
- arxiv url: http://arxiv.org/abs/2609.29266v1
- Date: Thu, 24 Sep 2026 09:05:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.804253
- Title: Baszta: Data-Centric Fine-Tuning of a Polish Multi-Label Safety Classifier
- Title(参考訳): Baszta: ポーランドのマルチラベル安全分類器のデータ中心ファインチューニング
- Abstract要約: ポーランドのコンテンツセーフティ分類器を5つのカテゴリにまたがって細調整したアレグロ/ハーバート・ベース・ケースド(124M)を開発した。
我々は,共有分布Gadzi Jzykベンチマークを用いて,ビエリクガード(Sjka)に対する結果モデルの評価を行った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a multi-label Polish content-safety classifier by fine-tuning allegro/herbert-base-cased (124M) across five categories (hate, vulgarity, sexual content, crime, self-harm) using a Focal + R-Drop objective, and evaluate the resulting model against Bielik Guard (Sójka) on the shared out-of-distribution Gadzi Język benchmark. Both systems are given per-category threshold tuning on the same calibration split. Under that matched protocol our model holds a small but statistically significant lead in micro F1, while an apparent macro-F1 lead does not survive: it was an artifact of comparing a tuned model against an untuned one. We also report what that micro figure is worth. Because Gadzi Język is 97% crime-positive, a classifier that flags crime on every input and nothing else already scores 0.910 micro F1 on the same test split, so micro separates neither system from a degenerate strategy and macro is the column that does. Per-category and per-protocol figures are reported in Section 4. The residual out-of-distribution gap is one of calibration rather than discrimination. Ranking quality stays high while positive probabilities collapse, and per-category temperature scaling recovers the loss where Platt scaling and isotonic regression do not. That recovery turns out to be conditional on the calibration set containing safe text. Gadzi Język contains almost none, so thresholds fitted on it flag crime on every safe input, and a balanced refit buys a deployable operating point at the cost of adversarial recall. We report both operating points rather than only the flattering one. Two changes that are standard practice, per-class cost-sensitive weighting and mean pooling, each raise in-distribution macro F1 while lowering the out-of-distribution figure, which indicates that robustness has to be selected for directly rather than inherited from in-distribution accuracy.
- Abstract(参考訳): 我々は,Focal と R-Drop の目標を用いて,アレッグロ/ハーバート・ベース・ケースド(124M)を5つのカテゴリ(憎悪,下品,性的内容,犯罪,自己ハーム)で微調整し,ビエリク・ガード (Sójka) に対する結果モデルの評価を行った。
どちらのシステムも同じキャリブレーション分割でカテゴリごとのしきい値チューニングが与えられる。
一致したプロトコルの下では、我々のモデルはマイクロF1において小さいが統計的に有意なリードを持ち、明らかなマクロF1リードは生き残らない。
そのマイクロフィギュアの価値も報告しています。
ガッツィ・ジャジクは97%の犯罪陽性であるため、全ての入力に犯罪を警告する分類器が同じテスト分割で0.910マイクロF1をスコア付けしているため、マイクロはどちらのシステムも退化戦略から切り離し、マクロはコラムである。
第4節では、カテゴリごとの数字とプロトコールごとの数字が報告されている。
残余のアウト・オブ・ディストリビューションギャップは、差別よりもキャリブレーションの1つである。
ランク付け品質は、正の確率が崩壊する一方で高く保たれ、カテゴリごとの温度スケーリングは、プラットスケーリングや等調回帰が起こらない損失を回復する。
このリカバリは、安全なテキストを含むキャリブレーションセットで条件付きであることが判明した。
ガッツィ・ジャジクはほとんど何も含まないため、安全入力の度にしきい値が付けられ、バランスの取れたリフィットは敵のリコールのコストで展開可能な運用ポイントを購入する。
フラットな操作よりも、両方の操作ポイントを報告します。
標準慣行であるクラスごとのコスト感受性重み付けと平均プール化の2つの変更は、それぞれ分布内マクロF1を上昇させ、分布外図を下降させ、分布内精度から継承するよりも、ロバスト性を直接選択する必要があることを示す。
関連論文リスト
- Bounded Adjustment with Reliability-Guided Embedding for Imbalanced Learning with Noisy Labels [7.047239027940408]
本稿では,BARGE (Bounded Adjustment with Reliability-Guided Embeddings) を導入する。
CIFAR-10, CIFAR-100, Tiny ImageNetで, 長期・ステップ不均衡, クリーンラベル, 20%, 40%のランダムな不正ラベル置換条件下で評価を行った。
論文 参考訳(メタデータ) (2026-09-14T21:41:28Z) - A Quiet Failure in Calibrated Virtual Screening: Marginal Conformal Prediction Under-Covers the Minority Class, and a Class-Conditional Fix Recovers It [0.0]
整形予測は、モデルの信頼性に正直な数字を付けるために、薬物発見に採用されている。
この保証は、不均衡なデータセットでは危険である可能性がある。
我々の貢献は、この既知の共形理論のギャップがいかに深刻で不可視であるかを実際の化学で実証することである。
論文 参考訳(メタデータ) (2026-07-07T04:31:56Z) - Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。
我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
論文 参考訳(メタデータ) (2025-03-07T08:41:53Z) - Technical report on label-informed logit redistribution for better domain generalization in low-shot classification with foundation models [3.938980910007962]
信頼度校正は、基礎モデルに基づく現実世界の意思決定システムにおいて、新たな課題である。
本研究では,微調整の際,不正分類を罰する損失目標に組み込んだペナルティを提案する。
CMP(textitconfidence misalignment penalty)と呼ぶ。
論文 参考訳(メタデータ) (2025-01-29T11:54:37Z) - Generating Unbiased Pseudo-labels via a Theoretically Guaranteed
Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。
本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。
チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
論文 参考訳(メタデータ) (2023-11-03T08:39:35Z) - Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。
それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。
次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
論文 参考訳(メタデータ) (2023-08-13T14:05:24Z) - Label Distributionally Robust Losses for Multi-class Classification:
Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。
我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。
本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文 参考訳(メタデータ) (2021-12-30T00:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。