論文の概要: Coupled Training with Privileged Information and Unlabeled Data

• arxiv url: http://arxiv.org/abs/2605.23268v1
• Date: Fri, 22 May 2026 06:15:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.221212
• Title: Coupled Training with Privileged Information and Unlabeled Data
• Title（参考訳）: 原始情報とラベルなしデータによる協調学習
• Abstract要約: 多くの予測問題では、モデルがデプロイされたときに利用できない、トレーニング中の追加情報があります。 一般的な戦略は、まずすべてのトレーニング情報を使用するモデルをトレーニングし、次にラベルのない例で予測を使用して、テスト時に利用可能な入力のみを使用する第2のモデルをトレーニングする。 本稿では,2つのモデルを一緒に学習する共同トレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 8.016305126057338
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In many prediction problems, we have extra information during training (for example, measurements that are expensive or slow to collect) that will not be available when the model is deployed. A common strategy is to first train a model that uses all training information, then use its predictions on unlabeled examples to train a second model that only uses the inputs available at test time. However, when the extra training-only information is weak or noisy, this Two-Stage approach can mislead the deployment model and even hurt accuracy. We propose a joint training method that learns the two models together, so the deployment model can benefit from the extra information only when it actually helps, instead of inheriting its mistakes. We provide guarantees that describe when joint training improves prediction accuracy and analyze a simple alternating training algorithm for large, high-dimensional models. Experiments on synthetic data and real-world prediction tasks show that our approach avoids these failures and robustly outperforms standard Two-Stage baselines.
• Abstract（参考訳）: 多くの予測問題では、トレーニング中に余分な情報(例えば、高価で収集が遅い測定値)が得られます。 一般的な戦略は、まずすべてのトレーニング情報を使用するモデルをトレーニングし、次にラベルのない例で予測を使用して、テスト時に利用可能な入力のみを使用する第2のモデルをトレーニングする。 しかし、追加のトレーニングのみの情報が弱い、あるいはノイズの多い場合、この2段階のアプローチはデプロイメントモデルを誤解させ、精度を損なう可能性がある。 2つのモデルを一緒に学習する共同トレーニング手法を提案するので、デプロイモデルは、ミスを継承するのではなく、実際に役に立つ場合にのみ、余分な情報から恩恵を受けることができる。 共同トレーニングが予測精度を向上した際の保証と,大規模高次元モデルに対する簡単な交互学習アルゴリズムの解析を行う。 合成データと実世界の予測タスクの実験により、我々の手法はこれらの失敗を回避し、標準の2段階ベースラインを頑健に上回ることを示す。

関連論文リスト

• Early Stopping Against Label Noise Without Validation Data [54.27621957395026]
  所望のモデルを選択するのに検証データを必要としないラベルウェーブと呼ばれる新しい早期停止手法を提案する。 各種設定におけるラベルウェーブ法の有効性と,ノイズラベルを用いた学習における既存手法の性能向上を両立させる能力について述べる。
  論文  参考訳（メタデータ） (2025-02-11T13:40:15Z)
• Upweighting Easy Samples in Fine-Tuning Mitigates Forgetting [15.251425165987987]
  下流タスクで事前訓練されたモデルを微調整すると、元の能力は劣化することが多い。 本稿では,事前学習したモデルの損失に基づく微調整データのサンプル重み付け手法を提案する。 我々は,言語と視覚の両方における手法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2025-02-05T00:49:59Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Self-calibration for Language Model Quantization and Pruning [38.00221764773372]
  量子化法とプルーニング法は、ラベルなしサンプルの小さなセットであるキャリブレーションデータを必要とする。 本稿では,自己校正を解法として提案する。 われわれの手法は外部データを必要としないが、代わりにモデル自体を利用して合成キャリブレーションデータを生成する。
  論文  参考訳（メタデータ） (2024-10-22T16:50:00Z)
• Ask Your Distribution Shift if Pre-Training is Right for You [67.90850628695563]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• LogME: Practical Assessment of Pre-trained Models for Transfer Learning [80.24059713295165]
  最大エビデンス対数(logme)は、転送学習のための事前学習されたモデルを評価するために用いられる。 ブルートフォースの微調整と比較して、LogMEはウォールクロックタイムで3000times$のスピードアップをもたらします。
  論文  参考訳（メタデータ） (2021-02-22T13:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。