論文の概要: Weak-to-Strong Learning in Decision Making

• arxiv url: http://arxiv.org/abs/2607.18467v1
• Date: Mon, 20 Jul 2026 19:37:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.234287
• Title: Weak-to-Strong Learning in Decision Making
• Title（参考訳）: 意思決定における弱間学習
• Abstract要約: 我々は文脈最適化を改善するためにW2Sフレームワークを開発した。 具体的には、まず制限付きラベル付きデータを用いて弱いモデルをトレーニングし、ラベルなしコンテキストで予測された結果分布を生成する。 We establish a non-asymsymotic upper bound on the excess decision risk of W2S and a complementary lower bound for a strong-only benchmark。
• 参考スコア（独自算出の注目度）: 6.26962987442306
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many operational decisions rely on predictive models that estimate uncertain outcomes conditional on observable contexts. Training such models, however, often faces a fundamental data asymmetry: labeled outcomes are scarce or costly to obtain, while contextual covariates are abundant. Motivated by this data asymmetry, we develop a decision-aware weak-to-strong (W2S) framework that leverages both labeled and unlabeled data to improve contextual stochastic optimization. Specifically, we first train a weak model using limited labeled data and then use it to generate predicted outcome distributions on unlabeled contexts. These distributions provide soft supervision for training a strong model. We establish a non-asymptotic upper bound on the excess decision risk of W2S and a complementary lower bound for a strong-only benchmark. Their comparison yields explicit sufficient conditions under which W2S improves downstream decision performance. The key quantity is the correlation dimension between the weak and strong feature representations: when it is small, abundant unlabeled data reduce the effect of teacher errors along non-overlapping directions. A synthetic newsvendor experiment and a comment moderation experiment based on real-world data provide empirical evidence consistent with the theory.
• Abstract（参考訳）: 多くの運用上の決定は、観測可能な文脈に基づいて不確実な結果を推定する予測モデルに依存する。 しかし、そのようなモデルのトレーニングは、しばしば基本的なデータ非対称性に直面し、ラベル付き結果が得られにくいかコストがかかるが、文脈的共変量は豊富である。 このデータ非対称性により、ラベル付きデータとラベルなしデータの両方を利用して文脈確率最適化を改善する、決定を意識した弱強弱化(W2S)フレームワークを開発する。 具体的には、まず制限付きラベル付きデータを用いて弱いモデルをトレーニングし、ラベルなしコンテキストで予測された結果分布を生成する。 これらの分布は、強いモデルを訓練するためのソフトな監督を提供する。 We establish a non-asymsymotic upper bound on the excess decision risk of W2S and a complementary lower bound for a strong-only benchmark。 これらの比較により、W2Sが下流決定性能を改善するための十分な条件が得られる。 鍵となる量は、弱い特徴表現と強い特徴表現の相関次元である。 実世界データに基づく合成ニュースベンダー実験とコメントモデレーション実験は、この理論と整合した実証的な証拠を提供する。

関連論文リスト

• When In-Distribution Gains Fail: Evaluating Weak-to-Strong Reward Models under Preference Shift [72.0686608132772]
  ゼロショット分布シフト下でのW2S選好学習について検討した。 弱い選好ラベルで訓練された強い学生は、選好データセットを移動できなくとも、流通に成功していることがわかった。 本稿では、事前訓練された強モデルの表現空間からの過剰なドリフトを制約する単純で効果的な正規化器であるRepresentation Anchoring(Anchor)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:30:49Z)
• Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
  薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。 本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T15:27:40Z)
• A Distributionally-Robust Framework for Nuisance in Causal Effect Estimation [1.3053649021965603]
  因果推論では、治療群と対照群の間のバランスの取れた分布のモデルを評価する必要がある。 最も一般的な統計手法は、逆確率重み付け(IPW)によるこの分布シフトに対処するものである。 誤差一般化を分解してこれらの問題 - 正当性あいまいさと統計的不安定さ - を分離し, 対向損失関数を通して対処する。
  論文  参考訳（メタデータ） (2025-05-23T10:34:28Z)
• Learning from Noisy Labels via Conditional Distributionally Robust Optimization [5.85767711644773]
  クラウドソーシングは、大規模なデータセットをラベル付けするための実用的なソリューションとして現れました。 これは、様々なレベルの専門知識を持つアノテータからのノイズの多いラベルによって、正確なモデルを学習する上で大きな課題となる。
  論文  参考訳（メタデータ） (2024-11-26T05:03:26Z)
• High-dimensional Analysis of Knowledge Distillation: Weak-to-Strong Generalization and Scaling Laws [32.61980466814528]
  隆起のない高次元回帰のために, このプロセスの鋭い特徴付けを行う。 弱い特徴を捨てることの利点と限界を明らかにする最適代理モデルの形式を同定する。 我々は、リッジレス回帰とニューラルネットワークアーキテクチャの両方に関する数値実験の結果を検証する。
  論文  参考訳（メタデータ） (2024-10-24T15:22:53Z)
• The Decaying Missing-at-Random Framework: Model Doubly Robust Causal Inference with Partially Labeled Data [8.916614661563893]
  因果推論を両立させるために,MARフレームワークの欠落と関連するアプローチを導入する。 これはラベル付け機構における選択バイアスとラベル付きグループとラベルなしグループの極端な不均衡に同時に対処する。 因果関係の堅牢性を確保するため,平均治療効果に対するバイアス低減SS推定器を提案する。
  論文  参考訳（メタデータ） (2023-05-22T07:37:12Z)
• Uncertainty-Aware Bootstrap Learning for Joint Extraction on Distantly-Supervised Data [36.54640096189285]
  ブートストラップ学習は、インスタンスの不確実性が高ければ高いほど、モデルの信頼性は基礎的な真実と矛盾する可能性が高いという直感によって動機付けられます。 まず、まずインスタンスレベルのデータ不確実性を調べて、信頼度の高い最初の例を作成します。 ブートストラップ学習において,ノイズラベルが生成するモデル間不確実性を軽減するために,正規化器としての自己認識を提案する。
  論文  参考訳（メタデータ） (2023-05-05T20:06:11Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。