論文の概要: Coupled Training with Privileged Information and Unlabeled Data

• arxiv url: http://arxiv.org/abs/2605.23268v1
• Date: Fri, 22 May 2026 06:15:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.221212
• Title: Coupled Training with Privileged Information and Unlabeled Data
• Title（参考訳）: 原始情報とラベルなしデータによる協調学習
• Authors: Jiahao Shi, Omar Hagrass, Jason M. Klusowski,
• Abstract要約: 多くの予測問題では、モデルがデプロイされたときに利用できない、トレーニング中の追加情報があります。 一般的な戦略は、まずすべてのトレーニング情報を使用するモデルをトレーニングし、次にラベルのない例で予測を使用して、テスト時に利用可能な入力のみを使用する第2のモデルをトレーニングする。 本稿では,2つのモデルを一緒に学習する共同トレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 8.016305126057338
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In many prediction problems, we have extra information during training (for example, measurements that are expensive or slow to collect) that will not be available when the model is deployed. A common strategy is to first train a model that uses all training information, then use its predictions on unlabeled examples to train a second model that only uses the inputs available at test time. However, when the extra training-only information is weak or noisy, this Two-Stage approach can mislead the deployment model and even hurt accuracy. We propose a joint training method that learns the two models together, so the deployment model can benefit from the extra information only when it actually helps, instead of inheriting its mistakes. We provide guarantees that describe when joint training improves prediction accuracy and analyze a simple alternating training algorithm for large, high-dimensional models. Experiments on synthetic data and real-world prediction tasks show that our approach avoids these failures and robustly outperforms standard Two-Stage baselines.
• Abstract（参考訳）: 多くの予測問題では、トレーニング中に余分な情報(例えば、高価で収集が遅い測定値)が得られます。 一般的な戦略は、まずすべてのトレーニング情報を使用するモデルをトレーニングし、次にラベルのない例で予測を使用して、テスト時に利用可能な入力のみを使用する第2のモデルをトレーニングする。 しかし、追加のトレーニングのみの情報が弱い、あるいはノイズの多い場合、この2段階のアプローチはデプロイメントモデルを誤解させ、精度を損なう可能性がある。 2つのモデルを一緒に学習する共同トレーニング手法を提案するので、デプロイモデルは、ミスを継承するのではなく、実際に役に立つ場合にのみ、余分な情報から恩恵を受けることができる。 共同トレーニングが予測精度を向上した際の保証と,大規模高次元モデルに対する簡単な交互学習アルゴリズムの解析を行う。 合成データと実世界の予測タスクの実験により、我々の手法はこれらの失敗を回避し、標準の2段階ベースラインを頑健に上回ることを示す。

関連論文リスト

• Upweighting Easy Samples in Fine-Tuning Mitigates Forgetting [15.251425165987987]
  下流タスクで事前訓練されたモデルを微調整すると、元の能力は劣化することが多い。 本稿では,事前学習したモデルの損失に基づく微調整データのサンプル重み付け手法を提案する。 我々は,言語と視覚の両方における手法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2025-02-05T00:49:59Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Ask Your Distribution Shift if Pre-Training is Right for You [67.90850628695563]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。