論文の概要: LLM knowledge for improved Out-of-Distribution Tabular Prediction - A Cross-Validated Regularisation Approach
- arxiv url: http://arxiv.org/abs/2610.36806v1
- Date: Tue, 27 Oct 2026 08:08:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.541923
- Title: LLM knowledge for improved Out-of-Distribution Tabular Prediction - A Cross-Validated Regularisation Approach
- Title（参考訳）: 分布外接尾辞予測の改善のためのLLM知識 -多変量正規化アプローチ-
- Abstract要約: 大規模言語モデル (LLM) から導かれる係数の先行性は, アウト・オブ・ディストリビューション (OOD) の予測を改善できるかを問う。
前者は5つのデータセットのうち4つで役立ち、最大7.9%のOODは2乗誤差である。
3つのデータセットでは、前者はドメイン内精度とドメイン外精度を改善し、シフト補正よりも規則化が優れている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prediction models degrade when the deployment population differs from the one used to train them, and training data cannot say which feature-response relationships will transfer. Expert elicitation is slow and unscalable. We ask whether coefficient priors elicited from large language models (LLMs) improve out-of-distribution (OOD) prediction as the shrinkage target of a regularised regression instead of zero, across five tabular datasets split on real covariates, selecting providers and prior structures by source-domain cross-validation alone. The priors help on four of five datasets, by up to 7.9% OOD mean squared error, and ten of twenty-four prior-informed results resolve the mean improvement at conventional confidence; single-deployment intervals are much wider. On classification the gain is in probabilistic accuracy, not ranking, and control tests with corrupted priors attribute the benefit to feature-specific content rather than scale. Two findings temper this. Variation across candidate priors exceeds the average benefit, yet cross-validation margins fall below their own noise, so selection avoids the worst prior rather than finding the best. On three datasets the prior improves in-domain accuracy as much as out-of-domain, making it better regularisation than shift correction. Only where the training data are large enough that the in-domain gain disappears does elicited knowledge demonstrably improve transfer. Code, priors and results: https://github.com/hugohammer/llm-priors-ood.
- Abstract（参考訳）: 予測モデルは、デプロイ人口がトレーニングに使用されるものと異なる場合、劣化し、トレーニングデータでは、どのフィーチャー-レスポンス関係が転送されるかを判断できない。
専門家の誘惑は遅く、まとまりません。
我々は,大言語モデル (LLMs) から導出される係数先行係数が,実共変量,プロバイダの選択,ソースドメインクロスバリデーションのみによる事前構造を分割した5つの表型データセットに対して,ゼロではなく正規化回帰の縮小ターゲットとして,アウト・オブ・ディストリビューション(OOD)予測を改善するか否かを問う。
先行する5つのデータセットのうち、最大7.9%のOOD平均二乗誤差、24の事前インフォームされた結果のうち10は、従来の信頼性における平均的な改善を解決している。
分類において、ゲインは確率的正確さであり、ランキングではなく、腐敗した事前の制御テストは、スケールよりも機能固有のコンテンツに利点がある。
2つの発見がこれを誘惑する。
候補者の偏差は平均的な利益を上回るが、クロスバリデーションのマージンは自身のノイズを下回る。
3つのデータセットでは、前者はドメイン内精度とドメイン外精度を改善し、シフト補正よりも規則化が優れている。
ドメイン内のゲインが消えるほど、トレーニングデータが十分に大きい場合のみ、その知識は明らかに転送を改善する。
Code, priors and results: https://github.com/hugohammer/llm-priors-ood.com
関連論文リスト
- Prior Predictive Matching for Bayesian LoRA [3.8685593915342174]
我々は、微調整前に動作するクローズド形式の事前予測推定器を導入する。
これらの先行予測量は、適応ランクの積と先行スケールの4番目のパワーによってのみ、事前予測量に依存することを示す。
提案手法は,予測負の対数選択(NLL)とMAP選択と辺縁の対数選択の校正を改善する。
論文 参考訳（メタデータ） (2026-10-26T13:54:31Z) - REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。
REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。
このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
論文 参考訳（メタデータ） (2026-08-31T11:34:19Z) - RiskBlend: A Multi-Signal Framework for Test Input Prioritization in Machine Learning Regression Testing [0.0]
機械学習分類器が再訓練されると、前のモデルバージョンによって正しく分類された入力は、更新されたバージョンによって誤って分類される。
テスト入力優先順位付けは、限られた検証予算が可能な限り多くの回帰欠陥を明らかにするように、入力をランク付けすることでこの問題に対処する。
本稿では,4つの相補的リスク信号を組み合わせた分類器に依存しない優先順位付けフレームワークであるR RiskBlendを提案する。
論文 参考訳（メタデータ） (2026-08-27T20:40:35Z) - Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting [63.86964530167364]
本稿では,ダイリクレ分布からの重み付けを,観測から得られたガンマ事前情報を用いて推定するベイズ領域重み付け手法を提案する。
実験により,提案手法は安定かつ効率的な領域重み付け学習を実現し,探索に基づく関数適合法よりもはるかに少ないデータを消費し,大規模アプリケーションにおいて最適化に基づく領域重み付けを活性化する。
論文 参考訳（メタデータ） (2026-07-30T09:41:02Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - Transfer Learning with Informative Priors: Simple Baselines Better than Previously Reported [4.453137996095194]
転送学習と5つのデータセットにまたがるソースタスクの事前情報とを比較検討する。
クラス毎の5-300例のシナリオでは、2つのデータセットに対して負あるいは無視的なゲイン、他の2つのデータセットでは控えめなゲイン、ひとつのデータセットでは実質的なゲインが見られます。
論文 参考訳（メタデータ） (2024-05-24T14:12:23Z) - Connect Later: Improving Fine-tuning for Robustness with Targeted Augmentations [15.387990102999773]
ラベル付きソースドメインでトレーニングされたモデルは、アウト・オブ・ディストリビューション対象ドメインにデプロイされた場合、しばしば不適切な一般化を行う。
ラベルなしのターゲットデータが利用可能なドメイン適応設定では、自己教師付き事前訓練がこのパフォーマンス低下を軽減するための有望な方法である。
プレトレーニング後の微調整を標準化した実世界のタスクについて,ラベル付きソースデータからスクラッチからトレーニングするだけでは,OODエラーが常に改善されないことを示す。
汎用的な拡張で事前訓練した後、分散シフトの知識を活かしたターゲット拡張による微調整を行う。
論文 参考訳（メタデータ） (2024-01-08T18:59:52Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳（メタデータ） (2021-11-23T18:59:08Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳（メタデータ） (2020-06-19T05:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。