論文の概要: Black-box Generalization of Machine Teaching

• arxiv url: http://arxiv.org/abs/2206.15205v2
• Date: Wed, 20 Sep 2023 15:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 00:56:03.449542
• Title: Black-box Generalization of Machine Teaching
• Title（参考訳）: ブラックボックスによる機械教育の一般化
• Authors: Xiaofeng Cao, Yaming Guo, Ivor W. Tsang, James T. Kwok
• Abstract要約: 我々は、より厳密なslack項を $left とするブラックボックス教育仮説 $hmathcalT$ を導入する。 この教示仮説の指導の下で、学習者はより厳密な一般化誤差とラベル複雑性境界に収束できることを示す。
• 参考スコア（独自算出の注目度）: 63.384268678926325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hypothesis-pruning maximizes the hypothesis updates for active learning to find those desired unlabeled data. An inherent assumption is that this learning manner can derive those updates into the optimal hypothesis. However, its convergence may not be guaranteed well if those incremental updates are negative and disordered. In this paper, we introduce a black-box teaching hypothesis $h^\mathcal{T}$ employing a tighter slack term $\left(1+\mathcal{F}^{\mathcal{T}}(\widehat{h}_t)\right)\Delta_t$ to replace the typical $2\Delta_t$ for pruning. Theoretically, we prove that, under the guidance of this teaching hypothesis, the learner can converge into a tighter generalization error and label complexity bound than those non-educated learners who do not receive any guidance from a teacher:1) the generalization error upper bound can be reduced from $R(h^*)+4\Delta_{T-1}$ to approximately $R(h^{\mathcal{T}})+2\Delta_{T-1}$, and 2) the label complexity upper bound can be decreased from $4 \theta\left(TR(h^{*})+2O(\sqrt{T})\right)$ to approximately $2\theta\left(2TR(h^{\mathcal{T}})+3 O(\sqrt{T})\right)$. To be strict with our assumption, self-improvement of teaching is firstly proposed when $h^\mathcal{T}$ loosely approximates $h^*$. Against learning, we further consider two teaching scenarios: teaching a white-box and black-box learner. Experiments verify this idea and show better generalization performance than the fundamental active learning strategies, such as IWAL, IWAL-D, etc.
• Abstract（参考訳）: hypothesis-pruningは、アクティブラーニングのための仮説更新を最大化し、望ましいラベルのないデータを見つける。 この学習方法が最適仮説への更新を導出できるという前提がある。 しかし、これらのインクリメンタルアップデートがネガティブで混乱している場合には、その収束は保証されない。 本稿では,通常の2\delta_t$に代えて,より強固なスラング項$\left(1+\mathcal{f}^{\mathcal{t}}(\widehat{h}_t)\right)\delta_t$を用いて,ブラックボックス指導仮説$h^\mathcal{t}$を導入する。 理論的には、この教示仮説の指導の下で、学習者は教師から指導を受けていない非教育学習者よりも厳密な一般化誤差とラベル複雑性に収束できる:1) 一般化誤差の上限は、約$R(h^*)+4\Delta_{T-1}$から約$R(h^{\mathcal{T}})+2\Delta_{T-1}$に縮めることができる。 2) ラベル複雑性の上界は、$4 \theta\left(TR(h^{*})+2O(\sqrt{T})\right)$から$2\theta\left(2TR(h^{\mathcal{T}})+3O(\sqrt{T})\right)$に減少することができる。 我々の仮定を厳格にするために、まず、$h^\mathcal{T}$ が $h^*$ をゆるやかに近似するときに、教えの自己改善が提案される。 学習に対抗して,ホワイトボックスとブラックボックス学習者の2つの指導シナリオをさらに検討する。 実験は、このアイデアを検証し、 iwal、iwal-dなどの基本的なアクティブ学習戦略よりも優れた一般化性能を示す。

関連論文リスト

• Deterministic Apple Tasting [2.4554686192257424]
  我々は、初めて広く適用可能な決定論的リンゴテイスティング学習者を提供する。 すべてのクラス $mathcalH$ は簡単、困難、あるいは学習不能でなければならない、という三分法を証明します。 我々の上限は、リンゴの味付けフィードバックに関する専門家のアドバイスから学ぶための決定論的アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-14T11:54:46Z)
• Revisiting Agnostic PAC Learning [30.67561230812141]
  PAC学習は、Valiant'84とVapnik and Chervonenkis'64,'74にさかのぼる、教師あり学習を研究するための古典的なモデルである。 経験的リスク最小化(英: Empirical Risk Minimization、ERM)は、訓練データに最も少ない誤りを犯すために$mathcalH$から仮説を出力する自然学習アルゴリズムである。 私たちはPAC学習を再考し、最良仮説の性能を$tau:=Pr_mathcalD[hstar_mathと表すと、ERMが実際は準最適であることを示す。
  論文  参考訳（メタデータ） (2024-07-29T08:20:49Z)
• On Optimal Learning Under Targeted Data Poisoning [48.907813854832206]
  本研究は,学習者によって達成可能な最小のエラー$epsilon=epsilon(eta)$を,そのような敵の存在下で特徴付けることを目的とする。 注目すべきは,上界が決定論的学習者によって達成できることである。
  論文  参考訳（メタデータ） (2022-10-06T06:49:48Z)
• Cryptographic Hardness of Learning Halfspaces with Massart Noise [59.8587499110224]
  マスアートノイズの存在下でのPAC学習ハーフスペースの複雑さについて検討した。 我々は,最適0-1誤差が小さい場合でも,リアルタイムのMassartハーフスペース学習者が$Omega(eta)$よりも良い誤差を得られることを示す。
  論文  参考訳（メタデータ） (2022-07-28T17:50:53Z)
• Delaytron: Efficient Learning of Multiclass Classifiers with Delayed Bandit Feedbacks [6.624726878647541]
  Adaptive Delaytronは、$mathcalOleft(sqrtfrac2 Kgammaleft[fracT2+left(2+fracL2R2Vert WVert_F2right)sum_t=1Td_tright)の後悔の限界を達成する。 我々は、Adaptive Delaytronが$mathcalOleft(sqrtfrac2 Kgammaleft[fracT2]の後悔の限界を達成することを示す。
  論文  参考訳（メタデータ） (2022-05-17T11:12:20Z)
• Littlestone Classes are Privately Online Learnable [28.04975353867202]
  プライバシー制約下でのオンライン分類の問題点を考察する。 この設定では、学習者はラベル付き例のストリームを$(x_t, y_t)$, for $1 leq t leq T$で順次観察し、各イテレーションで新しい例のラベルを予測するために使用される仮説$h_t$を返す。 学習者のパフォーマンスは、既知の仮説クラスである$mathcalH$に対する後悔によって測定される。
  論文  参考訳（メタデータ） (2021-06-25T09:08:33Z)
• Nearly Horizon-Free Offline Reinforcement Learning [97.36751930393245]
  S$状態、$A$アクション、計画的地平$H$で、エピソードな時間同質なMarkov決定プロセスに関するオフライン強化学習を再考する。 経験的MDPを用いた評価と計画のための,約$H$自由なサンプル複雑性境界の最初の集合を得る。
  論文  参考訳（メタデータ） (2021-03-25T18:52:17Z)
• $Q$-learning with Logarithmic Regret [60.24952657636464]
  楽観的な$Q$は$mathcalOleft(fracSAcdot mathrmpolyleft(Hright)Delta_minlogleft(SATright)right)$ cumulative regret bound, where $S$ is the number of state, $A$ is the number of action, $H$ is the planning horizon, $T$ is the total number of steps, $Delta_min$ is the least sub-Optitimality gap。
  論文  参考訳（メタデータ） (2020-06-16T13:01:33Z)
• Taking a hint: How to leverage loss predictors in contextual bandits? [63.546913998407405]
  我々は,損失予測の助けを借りて,文脈的包帯における学習を研究する。 最適な後悔は$mathcalO(minsqrtT, sqrtmathcalETfrac13)$である。
  論文  参考訳（メタデータ） (2020-03-04T07:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。