論文の概要: A representation-learning game for classes of prediction tasks

• arxiv url: http://arxiv.org/abs/2403.06971v1
• Date: Mon, 11 Mar 2024 17:54:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 17:47:02.090658
• Title: A representation-learning game for classes of prediction tasks
• Title（参考訳）: 予測タスクのクラスのための表現学習ゲーム
• Authors: Neria Uzan and Nir Weinberger
• Abstract要約: 特徴ベクトルの次元還元表現を学習するためのゲームベースの定式化を提案する。 一般表現と損失関数に対して,ランダム化表現を最適化する効率的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 25.74469668220993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a game-based formulation for learning dimensionality-reducing representations of feature vectors, when only a prior knowledge on future prediction tasks is available. In this game, the first player chooses a representation, and then the second player adversarially chooses a prediction task from a given class, representing the prior knowledge. The first player aims is to minimize, and the second player to maximize, the regret: The minimal prediction loss using the representation, compared to the same loss using the original features. For the canonical setting in which the representation, the response to predict and the predictors are all linear functions, and under the mean squared error loss function, we derive the theoretically optimal representation in pure strategies, which shows the effectiveness of the prior knowledge, and the optimal regret in mixed strategies, which shows the usefulness of randomizing the representation. For general representations and loss functions, we propose an efficient algorithm to optimize a randomized representation. The algorithm only requires the gradients of the loss function, and is based on incrementally adding a representation rule to a mixture of such rules.
• Abstract（参考訳）: 本研究では,将来の予測課題に対する事前知識しか得られない場合,特徴ベクトルの次元性表現を学習するためのゲームベースの定式化を提案する。 このゲームでは、第1のプレイヤーが表現を選択し、次に第2のプレイヤーが所定のクラスから予測タスクを選択し、先行知識を表す。 第1のプレイヤーは、最小化することを目的としており、第2のプレイヤーが最大化することを目的としている。 予測と予測に対する応答が全て線形関数であり、平均二乗誤差損失関数の下では、事前知識の有効性を示す純粋戦略における理論的に最適表現と、その表現をランダム化する有用性を示す混合戦略における最適後悔を導出する。 一般表現と損失関数に対して,ランダム化表現を最適化する効率的なアルゴリズムを提案する。 このアルゴリズムは損失関数の勾配のみを必要とし、そのような規則の混合に漸進的に表現規則を追加することに基づいている。

関連論文リスト

• Distributed Online Bandit Nonconvex Optimization with One-Point Residual Feedback via Dynamic Regret [10.700891331004799]
  本稿では,非損失関数を用いた分散オンライン帯域最適化問題について検討する。 プレイヤーは敵を選択し、そのプレイヤーに任意の非線形損失関数を割り当てる。 予想されるアルゴリズムの後悔は、2点偏差を用いた既存のアルゴリズムに匹敵する。
  論文  参考訳（メタデータ） (2024-09-24T02:37:33Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
  我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。 我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
  論文  参考訳（メタデータ） (2023-01-15T03:13:09Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Non-Clairvoyant Scheduling with Predictions Revisited [77.86290991564829]
  非論理的スケジューリングでは、優先度不明な処理条件でジョブをスケジューリングするためのオンライン戦略を見つけることが課題である。 我々はこのよく研究された問題を、アルゴリズム設計に(信頼できない)予測を統合する、最近人気の高い学習強化された設定で再検討する。 これらの予測には所望の特性があり, 高い性能保証を有するアルゴリズムと同様に, 自然な誤差測定が可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-21T13:18:11Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Omnipredictors [19.735769148626588]
  ロス最小化は機械学習において支配的なパラダイムである。 我々は家族の損失を最適化するために使用できる$mathcalL,mathcalC$)-omnipredictorの概念を紹介した。 このような「余分な知識」の学習は、多重校正とのつながりを通して実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-11T23:28:49Z)
• Tailoring: encoding inductive biases by optimizing unsupervised objectives at prediction time [34.03150701567508]
  主目的関数に補助的損失を加えることは、ネットワークがより良い表現を学ぶのに役立つバイアスを符号化する一般的な方法である。 この研究では、テキスト変換学習からインスピレーションを得て、入力を受け取った後、教師なしの損失に対してネットワークを微調整することができることに注意する。 メタ学習に類似したネスト最適化であるメタ調整を定式化し、教師なしの損失を用いてタスク目標に順応した後、モデルに順応するように訓練する。
  論文  参考訳（メタデータ） (2020-09-22T15:26:24Z)
• Latent Representation Prediction Networks [0.0]
  満足できない表現を学習するこの原則を見いだす。 本稿では,この表現を予測関数とともに学習する新しい方法を提案する。 提案手法は, 標準強化学習法よりもサンプリング効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-09-20T14:26:03Z)
• Adversarial Monte Carlo Meta-Learning of Optimal Prediction Procedures [0.0]
  2人プレイゲームにおける最適戦略の探索として,予測手順のメタラーニングを行う。 このゲームでは、Natureは特徴と関連する結果からなるラベル付きデータを生成する事前のオーバーパラメトリック分布を選択する。 予測器の目的は、新しい特徴から関連する結果の見積にマップする関数を学習することである。
  論文  参考訳（メタデータ） (2020-02-26T03:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。