論文の概要: Toward Privileged Foundation Models:LUPI for Accelerated and Improved Learning

• arxiv url: http://arxiv.org/abs/2605.07799v1
• Date: Fri, 08 May 2026 14:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.118673
• Title: Toward Privileged Foundation Models:LUPI for Accelerated and Improved Learning
• Title（参考訳）: 初歩的基礎モデルに向けて:加速学習のためのLUPI
• Authors: Xueying Ding, Leman Akoglu,
• Abstract要約: 基礎モデルの訓練は計算集約的で、しばしば収束が遅い。 PIQL,Privileged Information for Quick and Quality Learningを紹介します。 実証的な証拠は、PIQLによってTFMがより早く収束し、最終的な損失を減らし、より一般化できることを示している。
• 参考スコア（独自算出の注目度）: 24.862652182602815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training foundation models is computationally intensive and often slow to converge.We introduce PIQL,Privileged Information for Quick and Quality Learning, the first framework to systematically integrate privileged information (PI) to simultaneously accelerate learning and improve generalization in tabular foundation models (TFMs). We construct two complementary forms of PI: (i) aggregate dataset-level statistics that reduce the burden on in-context learning, and (ii) encodings of the underlying data-generating program, providing knowledge beyond observable data. We further design an architecture that effectively transfers the train-time-only PI by learning to reconstruct it from observed context at inference. We provide a theoretical analysis characterizing conditions under which PI reduces the population-level approximation gap and accelerates convergence in finite-data regimes. Empirical evidence shows that PIQL enables TFMs to achieve faster convergence, lower final loss, and better generalization, in effect, reducing data and compute requirements. Our work establishes PI-guided pretraining as a principled and practical paradigm for improving the efficiency and performance of foundation models.
• Abstract（参考訳）: 学習基盤モデル(TFM)の学習を同時に加速し、一般化を改善するために、特権情報(PI)を体系的に統合する最初のフレームワークであるPIQL(Privileged Information for Quick and Quality Learning)を紹介する。 PIの2つの補完形式を構築します。 一 文脈内学習の負担を軽減するデータセットレベルの統計データを集計し、 i) 観測可能なデータ以外の知識を提供する基礎となるデータ生成プログラムのエンコーディング。 我々はさらに,列車のみのPIを効果的に転送するアーキテクチャを設計し,観測されたコンテキストから推論時にそれを再構築する。 本稿では、PIが人口レベルの近似ギャップを減らし、有限データ体制における収束を加速する理論解析特性について述べる。 実証的な証拠は、PIQLによってTFMがより早く収束し、最終損失を減らし、より一般化し、データと計算要求を削減できることを示している。 本研究は、基礎モデルの効率性と性能を向上させるための原則的で実践的なパラダイムとして、PI誘導プレトレーニングを確立している。

関連論文リスト

• Analytical Survey of Learning with Low-Resource Data: From Analysis to Investigation [192.53529928861818]
  高リソースデータによる学習は人工知能(AI)において大きな成功を収めた しかし、データアノテーションやモデルトレーニングに関連するコストは依然として大きい。 本調査では,低リソースデータからの学習に伴う一般化誤差とラベル複雑性を分析するために,アクティブサンプリング理論を用いた。
  論文  参考訳（メタデータ） (2025-10-10T03:15:42Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Pushing LLMs to Their Logical Reasoning Bound: The Role of Data Reasoning Intensity [59.27594125465172]
  データ推論強度 (Data Reasoning Intensity, DRI) は, サンプルの潜在論理的推論複雑性を定量化する新しい指標である。 次に、学習データの論理的推論強度を体系的に強化する再認識最適化戦略を導入する。
  論文  参考訳（メタデータ） (2025-09-29T14:20:04Z)
• Bridging Generative and Discriminative Learning: Few-Shot Relation Extraction via Two-Stage Knowledge-Guided Pre-training [12.475332671737686]
  TKRE(Two-Stage Knowledge-Guided Pre-Training for Relation extract)は、生成的および識別的学習パラダイムを橋渡しする新しいフレームワークである。 TKRE では,1) 説明駆動型知識とスキーマ制約付き合成データの生成に LLM を活用し,データの不足問題に対処し,(2) マスケッドスパン言語モデリングとスパンレベルコントラスト学習を組み合わせた2段階の事前学習戦略を導入する。 ベンチマークデータセットに関する総合的な実験は、TKREの有効性を示し、FSREにおける新しい最先端性能を実現し、低域でのより広範な応用の可能性を示す。
  論文  参考訳（メタデータ） (2025-05-18T05:17:36Z)
• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• TriplePlay: Enhancing Federated Learning with CLIP for Non-IID Data and Resource Efficiency [0.0]
  TriplePlayはCLIPをアダプタとして統合し、さまざまなデータ分散に対するFLの適応性とパフォーマンスを向上させるフレームワークである。 シミュレーションの結果,TriplePlayはGPU使用コストを効果的に削減し,学習プロセスの高速化を実現し,通信オーバーヘッドの低減を図っている。
  論文  参考訳（メタデータ） (2024-09-09T06:04:42Z)
• Probability Distribution Learning and Its Application in Deep Learning [0.0]
  本稿では,確率分布学習(PD Learning)と呼ばれる理論学習フレームワークを紹介する。 PD学習は確率分布の学習に重点を置いており、確率の単純さの中で確率変数としてモデル化される。
  論文  参考訳（メタデータ） (2024-06-09T06:49:22Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。