論文の概要: Overcoming Prior Barriers: Supervised Fine-Tuning under Long-Tail Distribution

• arxiv url: http://arxiv.org/abs/2610.12345v1
• Date: Thu, 08 Oct 2026 17:16:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.20796
• Title: Overcoming Prior Barriers: Supervised Fine-Tuning under Long-Tail Distribution
• Title（参考訳）: 先行障壁を克服する - 長距離配電下での微調整の監督-
• Abstract要約: 教師付き微調整は、トレーニング済みの大規模言語モデルを下流タスクに適応させる。 頻繁な概念はよく学習される傾向があり、希少な概念は弱い表現のままである。 本稿では,参照から導かれる概念を構築し,各命令が与える識別証拠を推定する適応型SFT命令選択法PASSを提案する。
• 参考スコア（独自算出の注目度）: 26.897981850923127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised fine-tuning (SFT) adapts pretrained large language models (LLMs) to downstream tasks, but the required concepts can receive substantially different levels of pretrained support. Frequent concepts are more likely to be well learned, whereas rare concepts may remain weakly represented. We introduce a novel notion named prior barrier to quantify how strongly the pretrained model supports competing concepts over the target concept. We observe that prior barriers follow a long-tail distribution, placing head and tail concepts at different starting points for SFT: head concepts face lower prior barriers, whereas tail concepts require additional instructions to overcome their higher prior barriers. Our theoretical analysis further derives a predictive risk bound for SFT under long-tail prior barriers, explicitly characterizing how the prior barrier and accumulated SFT evidence jointly determine predictive performance. Motivated by this prior barrier-dependent demand, we propose PASS, an adaptive SFT instruction selection method that constructs reference-derived concepts and estimates the distinguishing evidence provided by each instruction, and adaptively allocates the selection budget toward concepts that remain insufficiently covered under the current selection. In this way, PASS jointly considers which instructions can provide useful evidence and where additional supervision is needed under a limited budget. Experiments show that our method consistently outperforms seven state-of-the-art instruction selection methods on four backbone-budget settings. An ablation study further shows that PASS's adaptive allocation consistently improves over uniform allocation.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル(LLM)を下流タスクに適応させるが、必要となる概念は、かなり異なる事前訓練されたサポートを受けることができる。 頻繁な概念はよく学習される傾向があり、希少な概念は弱い表現のままである。 本稿では,事前学習モデルが対象概念に対する競合概念をいかに強く支持するかを定量化するために,先行障壁という新しい概念を導入する。 我々は、先行障壁が長い尾の分布に従っており、頭部と尾のコンセプトがSFTの異なる出発点に置かれていることを観察する: 頭部の概念はより低い前壁に直面しているのに対して、尾の概念はより高い前壁を克服するために追加の指示を必要とする。 我々の理論解析は,SFTの長期障壁下での予測リスクをさらに引き起こし,先行障壁と蓄積されたSFT証拠が共同で予測性能を決定する方法を明らかにした。 この事前のバリア依存的要求により、PASSは、参照から導かれる概念を構築し、各命令によって提供される識別された証拠を推定する適応的なSFT命令選択法であり、選択予算を現在の選択の下で十分にカバーされていない概念に適応的に割り当てる。 このようにしてPASSは、どの指示が有益な証拠を提供するか、また、限られた予算の下で追加の監督が必要であるかを共同で検討する。 実験の結果,提案手法は4つのバックボーン予算設定に対して,最先端の7つの命令選択法より一貫して優れていることがわかった。 アブレーション研究により、PASSのアダプティブアロケーションは均一アロケーションよりも一貫して改善されていることが示されている。

関連論文リスト

• Possibilistic Predictive Uncertainty for Deep Learning [75.00607359322863]
  Dirichlet-approximated possibilistic rear predictions (DAPPr)を紹介する。 DAPPrは可能性理論を利用した原則的なフレームワークである。 この射影近似戦略は閉形式解を用いた単純な訓練目標を与える。
  論文  参考訳（メタデータ） (2026-05-01T12:14:01Z)
• Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition [81.2779530670268]
  VLM(Vision-Language Models)は、ゼロショット画像認識を著しく進歩させたモデルである。 本稿では、クラス固有の概念を取り入れることで、プロンプトを強化する。 我々の手法は一貫して最先端の手法より優れている。
  論文  参考訳（メタデータ） (2026-03-09T03:11:11Z)
• Function-Space Empirical Bayes Regularisation with Student's t Priors [7.187565893243619]
  本稿では,関数空間のベイズ正規化フレームワークST-FS-EBを提案する。 また,モンテカルロ (MC) のドロップアウトに基づくエビデンスローバウンド (ELBO) 目標を導出する変動推論 (VI) による後部分布の近似を行った。
  論文  参考訳（メタデータ） (2026-02-25T15:29:44Z)
• CORE: Concept-Oriented Reinforcement for Bridging the Definition-Application Gap in Mathematical Reasoning [11.332501212320194]
  大規模言語モデル(LLM)は、しばしば挑戦的な数学演習を解くが、真に理解を必要とする場合、その概念を正しく適用できない。 明示的な概念を制御可能な監視信号に変換するRLトレーニングフレームワークであるCORE(Concept-Oriented Reinforcement)を紹介する。
  論文  参考訳（メタデータ） (2025-12-21T19:01:35Z)
• Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
  大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である 我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。 提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
  論文  参考訳（メタデータ） (2025-10-27T23:10:06Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Conformal Prediction for Federated Uncertainty Quantification Under Label Shift [57.54977668978613]
  Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。 我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
  論文  参考訳（メタデータ） (2023-06-08T11:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。