論文の概要: When Do External Priors Help Low-Resource Structured Prediction? A Ranking-Level Alignment Study

• arxiv url: http://arxiv.org/abs/2610.11146v2
• Date: Fri, 09 Oct 2026 12:40:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.188128
• Title: When Do External Priors Help Low-Resource Structured Prediction? A Ranking-Level Alignment Study
• Title（参考訳）: 外部プライオリティは低リソース構造予測にいつ役立つのか? ランキングレベルアライメントスタディ
• Abstract要約: 本稿では,モデルのランキング分布を外部の事前に整合させるモデル非依存の目的であるランキング優先(RPA)について検討する。 クロスサンプルツリーアライメントでは、高額の教師がノーアライメントベースラインに対して$+0.028$AUCを得る。 バグ内のMILアテンションアライメントでは、同じ高額の教師が何も転送しない。
• 参考スコア（独自算出の注目度）: 3.3448907202559517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cold-start credit scoring (scarce labels, immature features, or minimal capacity) motivates injecting external priors (teacher models, LLMs, or domain experts) into training. We study Ranking Prior Alignment (RPA), a model-agnostic objective that aligns a model's ranking distribution to an external prior via a temperature-scaled KL loss with an annealed weight, $\mathcal{L} = \mathcal{L}_{\text{task}} + γ(t)\,\text{KL}(P_{\text{agent}} \| P_{\text{model}})$, and requires no external model at inference. Across tree-ensemble and multiple-instance-learning (MIL) instantiations on the public Amex dataset and an industrial merchant-credit dataset (1.5M+ merchants), we ask when such priors genuinely transfer information rather than merely act as a regularizer. Our central finding: the prior's quality $π$ (its rank correlation with the label) governs transfer only when the alignment granularity matches the granularity at which $π$ is measured. On cross-sample tree alignment (Amex), a high-$π$ teacher yields $+0.028$ AUC over the no-alignment baseline (paired bootstrap 95% CI $[0.022, 0.035]$) whereas zero-information priors (uniform, random) yield none, and $Δ$AUC tracks $π$ (XGBoost Pearson $r = 0.985$); this replicates on a second public dataset (LendingClub). On within-bag MIL-attention alignment, the same high-$π$ teacher transfers nothing: it is significantly worse than its own within-bag shuffle (net $-0.017$, 95% CI $< 0$, sign $p = 0.021$ over 10 seeds), while zero-information priors give the only significant gains: the KL term collapses to pure entropy regularization. We distill these results into a two-factor $N \cdot \mathcal{C}$ decision rule (gains concentrate at low sample size and capacity and vanish as either grows) and a scale-controlled paired protocol that separates information transfer from regularization.
• Abstract（参考訳）: コールドスタートクレジットスコア(ラベル、未熟な特徴、最小限の能力)は、トレーニングに外部の事前(教師モデル、LLM、ドメインエキスパート)を注入する動機付けである。 RPAは,温度スケールのKL損失と熱処理した重量,$\mathcal{L} = \mathcal{L}_{\text{task}} + γ(t)\,\text{KL}(P_{\text{agent}} \| P_{\text{model}})$でモデルのランキング分布を外部モデルに整合させるモデルである。 ツリーアンサンブルとマルチスタンスラーニング(MIL)による公共アメックスデータセットと産業商人クレディットデータセット(1.5M以上の商店)のインスタンス化について、そのような先行者が単にレギュレータとして振る舞うのではなく、真に情報を伝達するかどうかを問う。 我々の中心的な発見: 前者の品質$π$(ラベルとのランク相関)は、アライメントの粒度が、$π$が測定される粒度と一致する場合にのみ、転送を支配します。 クロスサンプルツリーアライメント(Amex)では、高額のπ$教師がノーアライメントベースライン(ペアリングブートストラップ95% CI $[0.022, 0.035]$)に対して$+0.028$AUCを得るのに対し、ゼロ情報事前(ユニフォーム、ランダム)では、$Δ$AUCトラックは$π$(XGBoost Pearson $r = 0.985$)で、これは第2のパブリックデータセット(LendingClub)で複製される。 内部のMIL-アテンションアライメントでは、同じ高π$の教師は、何も転送しない: 内部のシャッフル (net $-0.017$, 95% CI $<0$, sign $p = 0.021$ over 10 seed) に対して、ゼロ情報前処理では、KL項は純粋エントロピー正則化に崩壊する。 これらの結果を2要素の$N \cdot \mathcal{C}$決定規則(サンプルサイズとキャパシティに集中し、いずれの成長も消える)と、情報転送を正規化から分離するスケール制御ペアプロトコルに蒸留する。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Persona-Model Collapse in Emergent Misalignment [0.0]
  有害な内容を持つ狭いデータに対する微調整された大きな言語モデルは、無関係なプロンプトに対して広範囲に不整合な振る舞いをもたらす。 モラル・サセプティビリティ(S)とモラル・ロバストネス(R)の2つの指標を用いてこの仮説を検証する。 これらのメトリクスは、与えられた文字(S)と、与えられた文字(R)をシミュレートするときにその一貫性を識別するモデルの能力を形式化する。
  論文  参考訳（メタデータ） (2026-05-13T00:48:57Z)
• MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
  微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。 ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:15:53Z)
• Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
  LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。 本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
  論文  参考訳（メタデータ） (2025-07-06T03:08:49Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Estimating oil recovery factor using machine learning: Applications of XGBoost classification [0.0]
  石油工学では、極端回復因子であるRFを決定することが不可欠である。 そこで,本研究では,手軽に利用できる特徴を用いた機械学習(ML)を用いて,10種類の油圧RFを推定する。
  論文  参考訳（メタデータ） (2022-10-28T18:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。