論文の概要: LLM-Inspired Pretrain-Then-Finetune for Small-Data, Large-Scale Optimization

• arxiv url: http://arxiv.org/abs/2602.03690v1
• Date: Tue, 03 Feb 2026 16:08:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.564791
• Title: LLM-Inspired Pretrain-Then-Finetune for Small-Data, Large-Scale Optimization
• Title（参考訳）: LLMにインスパイアされた小型大規模最適化のためのプレトレイン-Then-Finetune
• Authors: Zishi Zhang, Jinhui Han, Ming Hu, Yijie Peng,
• Abstract要約: 我々は、企業が同時に多くの運用上の決定をしなければならない、小規模で大規模な意思決定問題を考える。 本稿では,この課題に対処するために,設計したトランスフォーマーモデル上に構築したプレトレイン-then-finetuneアプローチを提案する。
• 参考スコア（独自算出の注目度）: 7.8639568562295965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider small-data, large-scale decision problems in which a firm must make many operational decisions simultaneously (e.g., across a large product portfolio) while observing only a few, potentially noisy, data points per instance. Inspired by the success of large language models (LLMs), we propose a pretrain-then-finetune approach built on a designed Transformer model to address this challenge. The model is first pretrained on large-scale, domain-informed synthetic data that encode managerial knowledge and structural features of the decision environment, and is then fine-tuned on real observations. This new pipeline offers two complementary advantages: pretraining injects domain knowledge into the learning process and enables the training of high-capacity models using abundant synthetic data, while finetuning adapts the pretrained model to the operational environment and improves alignment with the true data-generating regime. While we have leveraged the Transformer's state-of-the-art representational capacity, particularly its attention mechanism, to efficiently extract cross-task structure, our approach is not an off-the-shelf application. Instead, it relies on problem-specific architectural design and a tailored training procedure to match the decision setting. Theoretically, we develop the first comprehensive error analysis regarding Transformer learning in relevant contexts, establishing nonasymptotic guarantees that validate the method's effectiveness. Critically, our analysis reveals how pretraining and fine-tuning jointly determine performance, with the dominant contribution governed by whichever is more favorable. In particular, finetuning exhibits an economies-of-scale effect, whereby transfer learning becomes increasingly effective as the number of instances grows.
• Abstract（参考訳）: 私たちは、企業が複数の運用上の決定を同時に行わなければならない、小さなデータ、大規模な意思決定の問題(例:大規模な製品ポートフォリオ全体)について検討し、インスタンス毎に数個のノイズのあるデータポイントのみを観察します。 大規模言語モデル (LLM) の成功に触発されて, 設計した Transformer モデル上に構築された訓練前ファイントゥンアプローチを提案し, この問題に対処する。 このモデルは、まず、意思決定環境の管理的知識と構造的特徴を符号化した大規模でドメインインフォームドな合成データに基づいて事前訓練され、その後、実際の観測に基づいて微調整される。 事前学習は、学習プロセスにドメイン知識を注入し、豊富な合成データを使用して高容量モデルのトレーニングを可能にする一方で、微調整は、事前学習されたモデルを運用環境に適応させ、真のデータ生成体制との整合性を改善する。 我々はTransformerの最先端表現能力、特にその注意機構を活用して、クロスタスク構造を効率的に抽出するが、本手法は市販のアプリケーションではない。 代わりに、問題固有のアーキテクチャ設計と、決定設定に合うように調整されたトレーニング手順に依存します。 理論的には、トランスフォーマー学習に関する最初の包括的エラー解析を開発し、その方法の有効性を検証する漸近的保証を確立する。 批判的に、我々の分析は、事前学習と微調整が共同でパフォーマンスを決定する方法を明らかにする。 特に、ファインタニングはスケールの経済効果を示し、インスタンスの数が増えるにつれて、転送学習がますます効果的になる。

関連論文リスト

• MetaGDPO: Alleviating Catastrophic Forgetting with Metacognitive Knowledge through Group Direct Preference Optimization [16.323544391974114]
  大きな言語モデルは強力な推論能力を示し、より小さなモデルに効果的に圧縮できる。 既存のデータセットと微調整アプローチは依然として、破滅的な忘れ込みにつながる課題に直面している。 本稿では,データと微調整の両方の観点から,破滅的な忘れを緩和する包括的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-11-15T09:06:23Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm [87.47506806135746]
  一部のアプリケーションでは、エッジラーニングは、スクラッチから新しい2段階ラーニングへと焦点を移している。 本稿では,2段階のエッジ学習システムにおける共同コミュニケーションと計算資源管理の問題について考察する。 事前学習および微調整段階に対する共同資源管理の提案は,システム性能のトレードオフをうまくバランスさせることが示されている。
  論文  参考訳（メタデータ） (2024-04-01T00:21:11Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Analyzing the Performance of Deep Encoder-Decoder Networks as Surrogates for a Diffusion Equation [0.0]
  本研究では,エンコーダ・デコーダ畳み込みニューラルネットワーク(CNN)を定常拡散解法の代用として利用することを検討した。 その結果,トレーニングセットのサイズが大きくなると,性能変動や全体的な誤差の低減に大きく影響することが示唆された。
  論文  参考訳（メタデータ） (2023-02-07T22:53:19Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。