論文の概要: TSVR+: Twin support vector regression with privileged information
- arxiv url: http://arxiv.org/abs/2312.02596v1
- Date: Tue, 5 Dec 2023 09:15:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 16:16:19.546467
- Title: TSVR+: Twin support vector regression with privileged information
- Title（参考訳）: TSVR+:特権情報を用いたツインサポートベクトル回帰
- Authors: Anuradha Kumari, M. Tanveer
- Abstract要約: 機械学習の領域では、データは特権情報(PI)と呼ばれる追加の属性を含むことができる。
我々は、特権情報(LUPI)を用いた学習とTSVRの融合を導入し、特権情報(TSVR+)を用いたツインサポートベクター回帰と呼ばれる新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of machine learning, the data may contain additional attributes,
known as privileged information (PI). The main purpose of PI is to assist in
the training of the model and then utilize the acquired knowledge to make
predictions for unseen samples. Support vector regression (SVR) is an effective
regression model, however, it has a low learning speed due to solving a convex
quadratic problem (QP) subject to a pair of constraints. In contrast, twin
support vector regression (TSVR) is more efficient than SVR as it solves two
QPs each subject to one set of constraints. However, TSVR and its variants are
trained only on regular features and do not use privileged features for
training. To fill this gap, we introduce a fusion of TSVR with learning using
privileged information (LUPI) and propose a novel approach called twin support
vector regression with privileged information (TSVR+). The regularization terms
in the proposed TSVR+ capture the essence of statistical learning theory and
implement the structural risk minimization principle. We use the successive
overrelaxation (SOR) technique to solve the optimization problem of the
proposed TSVR+, which enhances the training efficiency. As far as our knowledge
extends, the integration of the LUPI concept into twin variants of regression
models is a novel advancement. The numerical experiments conducted on UCI,
stock and time series data collectively demonstrate the superiority of the
proposed model.
- Abstract（参考訳）: 機械学習の領域では、データは特権情報(PI)と呼ばれる追加の属性を含むことができる。
PIの主な目的は、モデルのトレーニングを支援し、取得した知識を利用して、目に見えないサンプルの予測を行うことである。
サポートベクトル回帰(SVR)は効果的な回帰モデルであるが、一対の制約を受ける凸二次問題(QP)を解決するために学習速度が低い。
対照的に、ツインサポートベクトル回帰(TSVR)はSVRよりも効率的である。
しかし、TSVRとその変種は通常の機能のみに基づいて訓練されており、訓練に特権的機能を使用しない。
このギャップを埋めるために、特権情報(LUPI)を用いた学習とTSVRの融合を導入し、特権情報(TSVR+)を用いた双子支援ベクトル回帰と呼ばれる新しいアプローチを提案する。
提案したTSVR+の正規化項は、統計学習理論の本質を捉え、構造リスク最小化原理を実装している。
本稿では,SOR法を用いてTSVR+の最適化問題を解くことにより,トレーニング効率を向上する。
我々の知識が広がる限り、lupiの概念を回帰モデルの双変種に統合することは、新しい進歩である。
uci,ストックおよび時系列データを用いて行った数値実験は,提案モデルの優越性を示すものである。
関連論文リスト
- Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。
提案アルゴリズムはIRL問題の定常解に収束することを示す。
その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
論文 参考訳（メタデータ） (2024-05-28T07:11:05Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Nonparametric Linear Feature Learning in Regression Through Regularisation [0.0]
連立線形特徴学習と非パラメトリック関数推定のための新しい手法を提案する。
代替最小化を用いることで、データを反復的に回転させ、先頭方向との整合性を改善する。
提案手法の予測リスクは,最小限の仮定と明示的なレートで最小限のリスクに収束することを確認した。
論文 参考訳（メタデータ） (2023-07-24T12:52:55Z) - Representation Transfer Learning via Multiple Pre-trained models for
Linear Regression [3.5788754401889014]
サンプルが少ないデータ領域(ターゲット)で線形回帰モデルを学習する問題を考察する。
学習を支援するために、私たちは、潜在的に異なるデータドメインでトレーニングされた事前訓練された回帰モデルセットを提供しています。
対象モデルを構築するための表現伝達に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2023-05-25T19:35:24Z) - Reinforcement Learning for Topic Models [3.42658286826597]
本稿では,ProdLDAにおける変分オートエンコーダを連続行動空間強化学習ポリシーに置き換えることにより,トピックモデリングに強化学習手法を適用した。
ニューラルネットワークアーキテクチャの近代化、ELBO損失の重み付け、コンテキスト埋め込みの使用、トピックの多様性と一貫性の計算による学習プロセスの監視など、いくつかの変更を導入している。
論文 参考訳（メタデータ） (2023-05-08T16:41:08Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳（メタデータ） (2023-01-27T22:04:37Z) - Fitting a Directional Microstructure Model to Diffusion-Relaxation MRI
Data with Self-Supervised Machine Learning [2.8167227950959206]
教師付き学習の魅力的な代替手段として、自己教師型機械学習が登場している。
本稿では,指向性マイクロ構造モデルに適用可能な自己教師型機械学習モデルを実証する。
提案手法は, パラメータ推定と計算時間において, 通常の非線形最小二乗整合と比較して明らかに改善されている。
論文 参考訳（メタデータ） (2022-10-05T15:51:39Z) - Virtual embeddings and self-consistency for self-supervised learning [43.086696088061416]
TriMixは、線形データを通じて仮想埋め込みを生成する自己教師型学習の新しい概念である。
我々は,TriMixを2.71%,0.41%改善した8つのベンチマークデータセットで検証した。
論文 参考訳（メタデータ） (2022-06-13T10:20:28Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳（メタデータ） (2021-06-03T12:59:16Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。