論文の概要: Ranking Prior Alignment for Credit Risk Modeling: When Do External Priors Matter?
- arxiv url: http://arxiv.org/abs/2610.11146v1
- Date: Thu, 08 Oct 2026 03:11:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.756698
- Title: Ranking Prior Alignment for Credit Risk Modeling: When Do External Priors Matter?
- Title(参考訳): 信用リスクモデリングのための事前調整のランク付け:外部優先はいつ重要か?
- Abstract要約: コールドスタートクレジットスコアリングは、金融機械学習において繰り返し発生する問題である。
我々は,任意のスコアリングモデルに外付けランキングを蒸留するモデルに依存しないフレームワークであるランキング優先法を提案する。
フレームワークがモデルに依存しないことと、事前ソースに依存しないことが示されます。
- 参考スコア(独自算出の注目度): 3.3448907202559517
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cold-start credit scoring -- deploying models with scarce labeled data, weak features, or minimal capacity -- is a recurring problem in financial machine learning. When a new lending product launches, labeled default data is scarce, feature pipelines are immature, and models must be deployed with minimal capacity to avoid overfitting. Standard defenses operate on the same limited data; what is needed is a source of external regularization grounded in domain knowledge. We propose Ranking Prior Alignment, a model-agnostic framework that distills external ranking priors (from domain experts, teacher models, or LLMs) into any scoring model via a temperature-scaled KL divergence loss. The framework unifies neural (MIL attention) and tree-based (XGBoost custom objective) architectures through a single formulation: L = L_task + gamma(t) * KL(P_agent || P_model), where gamma(t) follows an exponential decay schedule. The method requires no external model at inference, and its tree-based instantiation tolerates annotation noise up to eta = 0.5. On an industrial dataset of over 1.5M merchants, MIL alignment achieves 7/7 positive evaluation cells at 3K bags (1 ID + 3 OOT + 3 degradation metrics; peak Delta AUC = +0.020 on OOT-1), and XGBoost ablation achieves 9/9 positive metrics at 300 bags. Cross-dataset validation on public Amex shows 5/5 positive folds (avg Delta AUC = +0.041). Four model families (MIL, XGBoost, LightGBM, Logistic Regression) and four teacher architectures show that the framework is both model-agnostic and prior-source-independent. We further observe that alignment gains exhibit an inverse-scaling pattern: benefits grow as data abundance N, model capacity C, and feature quality Q decrease, helping practitioners decide when to invest in prior annotation.
- Abstract(参考訳): コールドスタートクレジットスコアリング -- ラベル付きデータ、弱い機能、最小限のキャパシティを備えたモデルをデプロイする — は、金融マシンラーニングにおいて、繰り返し発生する問題である。
新たなローン商品のローンチ時には、ラベル付きデフォルトデータが不足し、機能パイプラインが未成熟で、オーバーフィッティングを避けるために、最小限のキャパシティでモデルをデプロイする必要がある。
標準的な防御は、同じ限られたデータで動作します。
我々は、温度スケールのKL分散損失により、外部のランキング先行(ドメインエキスパート、教師モデル、LLMから)を任意の評価モデルに蒸留する、モデルに依存しないフレームワークであるランキング優先法を提案する。
L = L_task + gamma(t) * KL(P_agent || P_model) ここで、ガンマ(t)は指数減衰スケジュールに従う。
このメソッドは推論時に外部モデルを必要としないため、ツリーベースのインスタンス化は eta = 0.5 までのアノテーションノイズを許容する。
MILアライメントは、150万以上の商人の産業データセット上で、3Kバッグ(1 ID + 3 OOT + 3 の劣化測定値、ピークデルタAUC = +0.020 のOOT-1)で7/7 の正評価セルを達成し、XGBoost アブレーションは300バッグで9/9 の正評価セルを達成している。
パブリックなAmex上のデータセットの検証は、5/5の正の折りたたみを示す( Delta AUC = +0.041)。
4つのモデルファミリ(MIL、XGBoost、LightGBM、ロジスティック回帰)と4つの教師アーキテクチャは、フレームワークがモデルに依存しないことと、事前ソースに依存していないことを示しています。
さらに、アライメントゲインが逆スケーリングパターンを示し、データ量N、モデルキャパシティC、特徴品質Qが低下するにつれて、ベネフィットが増大し、実践者が事前アノテーションに投資するタイミングを決定するのに役立つことを観察する。
関連論文リスト
- Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳(メタデータ) (2026-08-17T09:53:27Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳(メタデータ) (2026-08-08T13:22:14Z) - Persona-Model Collapse in Emergent Misalignment [0.0]
有害な内容を持つ狭いデータに対する微調整された大きな言語モデルは、無関係なプロンプトに対して広範囲に不整合な振る舞いをもたらす。
モラル・サセプティビリティ(S)とモラル・ロバストネス(R)の2つの指標を用いてこの仮説を検証する。
これらのメトリクスは、与えられた文字(S)と、与えられた文字(R)をシミュレートするときにその一貫性を識別するモデルの能力を形式化する。
論文 参考訳(メタデータ) (2026-05-13T00:48:57Z) - MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。
ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
論文 参考訳(メタデータ) (2026-01-15T15:15:53Z) - Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。
本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
論文 参考訳(メタデータ) (2025-07-06T03:08:49Z) - Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。
我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。
我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
論文 参考訳(メタデータ) (2025-05-15T17:58:33Z) - Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。
SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
論文 参考訳(メタデータ) (2025-05-10T17:15:49Z) - Estimating oil recovery factor using machine learning: Applications of
XGBoost classification [0.0]
石油工学では、極端回復因子であるRFを決定することが不可欠である。
そこで,本研究では,手軽に利用できる特徴を用いた機械学習(ML)を用いて,10種類の油圧RFを推定する。
論文 参考訳(メタデータ) (2022-10-28T18:21:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。