論文の概要: Statsformer: Validated Ensemble Learning with LLM-Derived Semantic Priors
- arxiv url: http://arxiv.org/abs/2601.21410v2
- Date: Wed, 04 Feb 2026 21:58:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 14:11:23.799899
- Title: Statsformer: Validated Ensemble Learning with LLM-Derived Semantic Priors
- Title（参考訳）: Statsformer: LLM-Derived Semantic Priorsを用いた検証アンサンブル学習
- Authors: Erica Zhang, Naomi Sagan, Danny Tse, Fangzhao Zhang, Mert Pilanci, Jose Blanchet,
- Abstract要約: Statsformerは、大規模言語モデル(LLM)由来の知識を教師付き統計学習に統合するための原則化されたフレームワークである。
線形学習者と非線形学習者のアンサンブル内に,LLMから派生した特徴量を埋め込み,それらの影響をクロスバリデーションにより適応的に校正する。
この設計は、統計的誤差を除いて、ライブラリ内ベースラーナーの凸結合よりも悪い性能を期待できるようなオラクルスタイルのフレキシブルなシステムをもたらす。
- 参考スコア（独自算出の注目度）: 43.18750992853517
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Statsformer, a principled framework for integrating large language model (LLM)-derived knowledge into supervised statistical learning. Existing approaches are limited in adaptability and scope: they either inject LLM guidance as an unvalidated heuristic, which is sensitive to LLM hallucination, or embed semantic information within a single fixed learner. Statsformer overcomes both limitations through a guardrailed ensemble architecture. We embed LLM-derived feature priors within an ensemble of linear and nonlinear learners, adaptively calibrating their influence via cross-validation. This design yields a flexible system with an oracle-style guarantee that it performs no worse than any convex combination of its in-library base learners, up to statistical error. Empirically, informative priors yield consistent performance improvements, while uninformative or misspecified LLM guidance is automatically downweighted, mitigating the impact of hallucinations across a diverse range of prediction tasks.An open-source implementation of Statsformer is available at https://github.com/pilancilab/statsformer.
- Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)由来の知識を教師付き統計学習に統合するための原則的フレームワークStatsformerを紹介する。
既存のアプローチは適応性とスコープに限られており、LSM指導を無意味なヒューリスティックとして注入するか、1つの固定学習者内に意味情報を埋め込むかのどちらかである。
Statsformerはガードレールのアンサンブルアーキテクチャを通じて両方の制限を克服する。
線形学習者と非線形学習者のアンサンブル内に,LLMから派生した特徴量を埋め込み,それらの影響をクロスバリデーションにより適応的に校正する。
この設計は、統計的誤差を除いて、ライブラリ内ベースラーナーの凸結合よりも悪い性能を期待できるようなオラクルスタイルのフレキシブルなシステムをもたらす。
経験的に、情報的事前は、一貫したパフォーマンス改善をもたらすが、非形式的または不特定なLLMガイダンスは、自動的にダウンウェイトされ、様々な予測タスクにわたる幻覚の影響を緩和する。Statsformerのオープンソース実装はhttps://github.com/pilancilab/statsformerで利用可能である。
関連論文リスト
- Rendering Data Unlearnable by Exploiting LLM Alignment Mechanisms [3.648393062009244]
大規模言語モデル(LLM)は、大規模で異質なテキストコーパスでますます訓練されている。
これは、モデルトレーニング中にプロプライエタリまたは個人データの使用が許可されていないという深刻な懸念を引き起こす。
本研究では, LLM に読み書き不能なテキストを描画する新しいデータレベルディフェンスである Disclaimer Injection を提案する。
論文 参考訳（メタデータ） (2026-01-06T20:34:15Z) - Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。
我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。
モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
論文 参考訳（メタデータ） (2025-05-27T16:24:02Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - Split, Unlearn, Merge: Leveraging Data Attributes for More Effective Unlearning in LLMs [18.629717934007513]
SPUNGE(SPlit, UNlearn, MerGE)は,任意のアンラーニング手法を用いて有効性を増幅するフレームワークである。
我々はSPUNGEが最近の2つの非学習手法の性能を大幅に向上させることを実証的に実証した。
論文 参考訳（メタデータ） (2024-06-17T17:35:52Z) - One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。
本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。