論文の概要: HIFI: A Highly Efficient Framework for Statistical Inference with Foundation Models

• arxiv url: http://arxiv.org/abs/2610.34550v1
• Date: Sun, 25 Oct 2026 20:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.634249
• Title: HIFI: A Highly Efficient Framework for Statistical Inference with Foundation Models
• Title（参考訳）: HIFI:基礎モデルを用いた統計的推論のための高効率フレームワーク
• Abstract要約: HIFIは、条件付き手段の統計的推測のための2段階の微調整フレームワークである。 直接サンプリングと比較して、トレーニング計算を最大91.9%削減する。 遺伝子発現推論への応用は、フレームワークの実用的価値を示している。
• 参考スコア（独自算出の注目度）: 16.22361154179305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models provide powerful representations for unstructured data, such as text and images, and parameter-efficient fine-tuning (PEFT) makes their adaptation to downstream tasks increasingly practical. For neural estimators that lack a tractable sampling distribution, resampling-based procedures offer a flexible route to statistical inference, but they often require hundreds of model fits, making them computationally prohibitive at foundation-model scale. We introduce HIFI, a two-stage fine-tuning framework for statistical inference on parameters such as conditional means. Stage 1 adapts a foundation model once on a larger sample, capturing the complex structure of the data and controlling estimation bias through a single fit. Stage 2 applies a resampling inference procedure to a smaller independent sample, concurrently fitting multiple lightweight PEFT estimators to the residual to quantify estimation variability without relearning the full task. HIFI accommodates a broad class of resampling procedures, including ensemble subsampling and the nonparametric bootstrap. Across vision and text experiments, HIFI scales to pretrained models ranging from tens of millions to more than ten billion parameters while providing accurate point estimates and well-calibrated confidence intervals across diverse architectures, and reduces training compute by up to 91.9% relative to direct resampling. An application to gene-expression inference illustrates the practical value of the framework for uncertainty-aware scientific inference.
• Abstract（参考訳）: 基礎モデルは、テキストや画像などの非構造化データに対して強力な表現を提供し、パラメータ効率の微調整(PEFT)により、下流タスクへの適応がより現実的になる。 抽出可能なサンプリング分布を持たない神経推定器では、再サンプリングに基づく手順は統計的推測への柔軟な経路を提供するが、数百のモデル適合を必要とすることが多く、基礎モデルスケールで計算的に禁止される。 本稿では,条件付き平均値などのパラメータを統計的に推測する2段階の微調整フレームワークHIFIを紹介する。 ステージ1は、より大きなサンプルに1度基礎モデルを適用し、データの複雑な構造をキャプチャし、単一のフィットを通して推定バイアスを制御する。 ステージ2では、より小さな独立したサンプルに対して再サンプリングの手順を適用し、複数の軽量PEFT推定器を同時に残差に適合させて、全タスクを再学習することなく推定変数を定量化する。 HIFIはアンサンブルサブサンプリングや非パラメトリックブートストラップを含む幅広い種類の再サンプリング手順に対応している。 ビジョンとテキストの実験全体を通じて、HIFIは数千万から100億以上のパラメータの事前訓練されたモデルにスケールし、正確な点推定と様々なアーキテクチャの信頼区間を提供し、直接再サンプリングと比較して最大91.9%のトレーニング計算を削減した。 遺伝子発現推論への応用は、不確実性を考慮した科学的推論のためのフレームワークの実用的価値を示している。

関連論文リスト

• Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
  より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
  論文  参考訳（メタデータ） (2026-02-28T05:41:57Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• A Realistic Evaluation of Cross-Frequency Transfer Learning and Foundation Forecasting Models [32.56983347493999]
  大規模時系列データセットを事前トレーニング基礎予測モデル(FFM)にキュレートするための一般的なフレームワークとして、クロス周波数転送学習(CFTL)が登場している。 CFTLは将来性を示しているが、現在のベンチマークプラクティスは、そのパフォーマンスを正確に評価するに足らない。 この欠点は、小規模評価データセットへの過度な依存、計算サマリ統計におけるサンプルサイズの不適切な処理、最適以下の統計モデルの報告、事前トレーニングとテストデータセット間の重複の非無視的なリスクの考慮の欠如など、多くの要因に起因している。
  論文  参考訳（メタデータ） (2025-09-23T18:19:50Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Conformal Calibration of Statistical Confidence Sets [1.8840155706520811]
  本研究では,TRUSTとTRUST++という2つの新しい手法を導入する。 我々は,本手法が既存のアプローチ,特に小サンプル方式よりも優れていることを実証した。
  論文  参考訳（メタデータ） (2024-11-28T20:45:59Z)
• Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
  集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。 決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
  論文  参考訳（メタデータ） (2024-03-22T15:02:24Z)
• LTAU-FF: Loss Trajectory Analysis for Uncertainty in Atomistic Force Fields [5.396675151318325]
  モデルアンサンブルは、深層学習原子論力場における予測の不確実性を推定するための有効なツールである。 しかし、それらの普及は高い計算コストと過信エラー推定によって妨げられている。 トレーニング中に得られたサンプルごとの誤差の分布を利用して,モデル潜在空間における距離に基づく類似性探索を行うことにより,これらの課題に対処する。 我々の手法はLTAUと呼ばれ、ログ化されたトレーニングエラーを用いて任意のテストポイントに対するエラーの全確率分布関数(PDF)を効率的に推定する。
  論文  参考訳（メタデータ） (2024-02-01T18:50:42Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。