論文の概要: Towards Label-Free Biological Reasoning Synthetic Dataset Creation via Uncertainty Filtering
- arxiv url: http://arxiv.org/abs/2510.05871v1
- Date: Tue, 07 Oct 2025 12:40:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:08.251326
- Title: Towards Label-Free Biological Reasoning Synthetic Dataset Creation via Uncertainty Filtering
- Title(参考訳): 不確実性フィルタリングによるラベルなし生物推論合成データセット作成に向けて
- Authors: Josefa Lia Stoisser, Lawrence Phillips, Aditya Misra, Tom A. Lamb, Philip Torr, Marc Boubnovski Martell, Julien Fauqueur, Kaspar Märtens,
- Abstract要約: CoT(Synthetic chain-of- Thought)トレースは、大きな推論モデル(LRM)のトレーニングに広く使用されている。
本稿では,外部ラベルの代用としてモデル自体の信頼度を用いた不確実性に基づくフィルタリングを提案する。
- 参考スコア(独自算出の注目度): 20.433272447607106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Synthetic chain-of-thought (CoT) traces are widely used to train large reasoning models (LRMs), improving generalization by providing step-level supervision. Yet most approaches require ground-truth labels to seed or filter these traces - an expensive bottleneck in domains like biology where wet-lab data are scarce. We propose a label-free alternative: uncertainty-based filtering, which uses a model's own confidence - quantified through established uncertainty metrics like self-consistency and predictive perplexity - as a substitute for external labels. We sample multiple reasoning traces and retain only low-uncertainty subsets. Applied to biological perturbation prediction, a domain where wet-lab labels are especially costly, we show that the filtered subset has higher accuracy, and that supervised fine-tuning (SFT) on uncertainty-filtered data outperforms unfiltered synthetic data, narrows the gap to ground-truth training, and surpasses strong LRM baselines. Ablations show that per-class filtering corrects for class-specific uncertainty scales and that hybrid uncertainty metrics yield higher-quality datasets. Our results suggest that model-internal confidence is a powerful signal for efficient reasoning dataset creation, enabling LRMs in domains where supervision is expensive.
- Abstract(参考訳): CoT(Synthetic chain-of- Thought)トレースは大きな推論モデル(LRM)のトレーニングに広く用いられ、ステップレベルの監視を提供することで一般化を改善している。
しかし、ほとんどのアプローチでは、これらのトレースをシードしたりフィルターしたりするために地味なラベルが必要です。
モデル自体の信頼度(自己整合性や予測パープレキシティといった確立した不確実性指標)を外部ラベルの代用として定量化した不確実性ベースのフィルタリングを提案する。
我々は、複数の推論トレースをサンプリングし、低不確実部分集合のみを保持する。
生物摂動予測では, ウェットラベルが特にコストがかかる領域において, フィルタされたサブセットは精度が高く, 不確実なフィルタデータに対する教師付き微調整(SFT)は, フィルタされていない合成データより優れ, 接地構造訓練へのギャップを狭め, 強いLRMベースラインを超えることを示す。
アブレーションは、クラスごとのフィルタリングがクラス固有の不確実性尺度を補正し、ハイブリッド不確実性指標が高品質なデータセットを生成することを示している。
この結果から,モデル内部信頼度はデータセット生成の効率的な推論のための強力な信号であり,監視コストの高い領域でのLEMを可能にすることが示唆された。
関連論文リスト
- Latent Noise Injection for Private and Statistically Aligned Synthetic Data Generation [7.240170769827935]
データの合成は、スケーラブルでプライバシー保護の統計分析に欠かせないものとなっている。
マスク付き自己回帰流(MAF)を用いた潜時ノイズ注入法を提案する。
トレーニングされたモデルから直接サンプリングする代わりに、我々のメソッドは潜在空間の各データポイントを摂動させ、それをデータドメインにマップします。
論文 参考訳(メタデータ) (2025-06-19T22:22:57Z) - Suitability Filter: A Statistical Framework for Classifier Evaluation in Real-World Deployment Settings [33.080398349395686]
適合性信号を利用して性能劣化を検出する新しいフレームワークを提案する。
テストデータとユーザデータの両方に適合する信号を集約し、これらの経験的分布を比較する。
これにより、高スループットアプリケーションにおける潜在的な障害の積極的な緩和が可能となる。
論文 参考訳(メタデータ) (2025-05-28T13:37:04Z) - The Decaying Missing-at-Random Framework: Model Doubly Robust Causal Inference with Partially Labeled Data [8.916614661563893]
因果推論を両立させるために,MARフレームワークの欠落と関連するアプローチを導入する。
これはラベル付け機構における選択バイアスとラベル付きグループとラベルなしグループの極端な不均衡に同時に対処する。
因果関係の堅牢性を確保するため,平均治療効果に対するバイアス低減SS推定器を提案する。
論文 参考訳(メタデータ) (2023-05-22T07:37:12Z) - Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer [60.31021888394358]
Unsupervised Domain Adaptation (UDA)は、現実世界の超解像(SR)における領域ギャップ問題に効果的に対処できる
本稿では,画像SR(SODA-SR)のためのSOurce-free Domain Adaptationフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-31T03:14:44Z) - Uncertainty-aware Self-training for Low-resource Neural Sequence
Labeling [29.744621356187764]
本稿では,ニューラルシークエンスラベリング(NSL)のための新しい未知の自己学習フレームワークSeqUSTを提案する。
ベイジアンニューラルネットワーク(BNN)にモンテカルロ(MC)ドロップアウトを組み込んでトークンレベルで不確実性評価を行い、ラベルのないデータから信頼性の高い言語トークンを選択する。
ノイズロスのあるマスク付きシークエンスラベリングタスクは、ノイズのある擬似ラベルの問題を抑えることを目的とした堅牢なトレーニングを支援する。
論文 参考訳(メタデータ) (2023-02-17T02:40:04Z) - Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive
Person Re-Identification [54.174146346387204]
ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。
擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。
本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
論文 参考訳(メタデータ) (2021-12-28T07:40:12Z) - Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。
ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
論文 参考訳(メタデータ) (2020-06-17T17:51:42Z) - Towards Discriminability and Diversity: Batch Nuclear-norm Maximization
under Label Insufficient Situations [154.51144248210338]
Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。
BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
論文 参考訳(メタデータ) (2020-03-27T05:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。