論文の概要: LLM Sparsity Prior for Robust Feature Selection

• arxiv url: http://arxiv.org/abs/2605.23102v1
• Date: Thu, 21 May 2026 23:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.134995
• Title: LLM Sparsity Prior for Robust Feature Selection
• Title（参考訳）: ロバストな特徴選択に先立つLLMスパシティ
• Authors: Caleb Skinner, Yihan Guo, Meng Li,
• Abstract要約: LLM生成重量の定量化のためのフレームワークを提案する。 次に,LLM生成重みを先行包含確率に統合するLLMスペーシャリティ・プライオリティ(LSP)を提案する。 LSPは予測精度を改善し、ベースラインに欠落した臨床的に関連性のある特徴を特定する。
• 参考スコア（独自算出の注目度）: 3.6910249175649983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) offer a scalable mechanism to elicit domain-informed prior information for high-dimensional variable selection. However, existing methods such as LLM-Lasso are sensitive to weight quality, with performance degrading substantially when LLM-generated weights are inaccurate. To address this challenge, we first introduce a framework for quantifying the quality of LLM-generated weights, enabling rigorous evaluation of LLM-informed methods across varying weight regimes. We then propose the LLM Sparsity Prior (LSP), which integrates LLM-generated weights into the prior inclusion probabilities of Spike-and-Slab and Spike-and-Slab Lasso models via two interpretable hyperparameters governing global sparsity and weight concentration. Hierarchical hyperpriors on these parameters allow the model to dynamically discount uninformative or misleading weights, improving robustness without sacrificing gains when weights are accurate. Finally, we develop principled prompt engineering strategies and validate the method on a private medical dataset studying Acute Kidney Injury. LSP improves prediction accuracy and identifies clinically relevant features missed by the baselines, with robustness to prompt variation and particular effectiveness in low-data regimes.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高次元変数選択のためにドメインインフォームドされた事前情報を抽出するためのスケーラブルなメカニズムを提供する。 しかし、LLM-Lassoのような既存の手法は重量に敏感であり、LCM生成重量が不正確な場合に性能が著しく低下する。 この課題に対処するために、まず、LLM生成量の品質を定量化するためのフレームワークを導入し、LLMインフォームド手法の厳密な評価を可能にした。 次に,LLMの重みをSpyke-and-SlabモデルとSpike-and-Slab Lassoモデルの先行包含確率に統合するLLMスペーシリティ優先法(LSP)を提案する。 これらのパラメータの階層的ハイパープライアーにより、モデルは非形式的あるいは誤解を招く重みを動的に割引することができ、重みが正確であるときに利得を犠牲にすることなく堅牢性を向上させることができる。 最後に, 急性腎臓損傷を研究対象とする個人医療データセット上で, プロンプト・エンジニアリング・ストラテジーを原則として開発し, 本手法の有効性を検証した。 LSPは予測精度を改善し、ベースラインに欠落した臨床的に関連性のある特徴を識別し、低データ体制における変動と特定の効果の促進に頑健である。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Densing Law of LLMs [81.06644243978101]
  大規模言語モデル(LLM)は人工知能のマイルストーンとして登場し、モデルのサイズが大きくなるにつれてその性能が向上する。 本稿では,異なるスケールでLLMの品質を評価するための新しい指標として,「テクトキャパシティ密度」の概念を紹介する。
  論文  参考訳（メタデータ） (2024-12-05T16:31:13Z)
• GIFT-SW: Gaussian noise Injected Fine-Tuning of Salient Weights for LLMs [51.02233412547456]
  我々は,Gaussian noise Injected Fine Tuning of Salient Weights (GIFT-SW)と呼ばれる新しいPEFT法を提案する。 本手法では, ガウス雑音を非正弦波に注入しながら, 正弦波列のみを更新する。 LLaMAモデルによる実験により、GIFT-SWは、同じ計算予算の下で、完全な微調整および現代的なPEFTメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-27T14:41:14Z)
• STBLLM: Breaking the 1-Bit Barrier with Structured Binary LLMs [28.70239743254508]
  LLM圧縮のための最初の構造双対化法を1ビット未満の精度で提案する。 バイナライズされたLLMの重みは、性能劣化を伴わずにランダムに反転することができる。 本手法は他の圧縮バイナライズ手法よりも優れた性能を示しながら,メモリ要求を大幅に低減する。
  論文  参考訳（メタデータ） (2024-08-03T15:07:44Z)
• AdpQ: A Zero-shot Calibration Free Adaptive Post Training Quantization Method for LLMs [22.25748046511075]
  AdpQは大規模言語モデル(LLM)のための新しいゼロショット適応型PTQ法である キャリブレーションデータを必要としない低精度量子化における最先端の性能を実現する。 その結果,LLMベンチマークの既存手法と同様の精度が得られ,量子化時間は少なくとも10倍に短縮された。
  論文  参考訳（メタデータ） (2024-05-22T05:32:11Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。