論文の概要: Supervising Embedding Algorithms Using the Stress
- arxiv url: http://arxiv.org/abs/2207.07218v1
- Date: Thu, 14 Jul 2022 22:04:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-18 15:01:09.539569
- Title: Supervising Embedding Algorithms Using the Stress
- Title（参考訳）: 応力を用いた埋め込みアルゴリズムの監督
- Authors: Ery Arias-Castro, Phong Alain Chau
- Abstract要約: 我々は、チューニングパラメータの選択を監督する単純でほぼ明白なアプローチを提案する。
我々は、剛性理論を参照して、この選択を裏付ける。
本手法は,Shang と Ruml の MDS-MAP(P) アルゴリズムの文脈で説明する。
- 参考スコア（独自算出の注目度）: 5.203329540700177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While classical scaling, just like principal component analysis, is
parameter-free, most other methods for embedding multivariate data require the
selection of one or several parameters. This tuning can be difficult due to the
unsupervised nature of the situation. We propose a simple, almost obvious,
approach to supervise the choice of tuning parameter(s): minimize a notion of
stress. We substantiate this choice by reference to rigidity theory. We extend
a result by Aspnes et al. (IEEE Mobile Computing, 2006), showing that general
random geometric graphs are trilateration graphs with high probability. And we
provide a stability result \`a la Anderson et al. (SIAM Discrete Mathematics,
2010). We illustrate this approach in the context of the MDS-MAP(P) algorithm
of Shang and Ruml (IEEE INFOCOM, 2004). As a prototypical patch-stitching
method, it requires the choice of patch size, and we use the stress to make
that choice data-driven. In this context, we perform a number of experiments to
illustrate the validity of using the stress as the basis for tuning parameter
selection. In so doing, we uncover a bias-variance tradeoff, which is a
phenomenon which may have been overlooked in the multidimensional scaling
literature. By turning MDS-MAP(P) into a method for manifold learning, we
obtain a local version of Isomap for which the minimization of the stress may
also be used for parameter tuning.
- Abstract（参考訳）: 古典的なスケーリングは、主成分分析と同様にパラメータフリーであるが、他のほとんどの方法は1つまたは複数のパラメータを埋め込む必要がある。
このチューニングは、状況の監督されていない性質のために難しい可能性がある。
本稿では,ストレスの概念を最小化するために,パラメータのチューニングの選択を監督するシンプルな,ほぼ明白なアプローチを提案する。
我々はこの選択を剛性理論を参照して証明する。
Aspnes et al. (IEEE Mobile Computing, 2006) の結果を拡張し、一般的なランダムな幾何グラフは高い確率で三次グラフであることを示す。
そして、安定結果 \`a la Anderson et al. (SIAM Discrete Mathematics, 2010) を提供する。
本手法は,Shang and Ruml (IEEE INFOCOM, 2004) の MDS-MAP(P) アルゴリズムの文脈で述べる。
原型的なパッチストッチ手法として、パッチサイズの選択が必要であり、ストレスを使ってデータ駆動型にしています。
この文脈では、パラメータ選択のチューニングの基礎としてストレスを使うことの有効性を説明するために、いくつかの実験を行う。
このようにして、多次元スケーリングの文献で見過ごされたかもしれない現象であるバイアス分散トレードオフを明らかにする。
mds-map(p) を多様体学習の方法に変換することで、応力の最小化をパラメータチューニングにも利用できるisomapの局所バージョンを得る。
関連論文リスト
- Implicit Regularization for Multi-label Feature Selection [1.5771347525430772]
暗黙の正規化とラベル埋め込みに基づく新しい推定器を用いて,多言語学習の文脈における特徴選択の問題に対処する。
いくつかの既知のベンチマークデータセットの実験結果から、提案された推定器は余分なバイアスを伴わず、良心的な過度な適合につながる可能性が示唆されている。
論文 参考訳（メタデータ） (2024-11-18T10:08:05Z) - Dynamic Subset Tuning: Expanding the Operational Range of Parameter-Efficient Training for Large Language Models [14.762222323897978]
大規模言語モデルのための新しいパラメータ効率訓練法を提案する。
従来の方法とは異なり、このサブセットはロケーションで固定されるのではなく、トレーニングの過程でどのパラメータが修正されるかである。
本手法により, モデル全体の任意の割合で, サブセットサイズをシームレスにスケーリングすることができる。
論文 参考訳（メタデータ） (2024-11-13T13:53:10Z) - Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。
本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。
提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-11-28T11:23:34Z) - Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。
我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。
我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
論文 参考訳（メタデータ） (2022-05-03T09:23:07Z) - Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for
Pre-trained Language Models [90.24999406296867]
標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。
近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
論文 参考訳（メタデータ） (2022-03-14T07:56:32Z) - A Prototype-Oriented Framework for Unsupervised Domain Adaptation [52.25537670028037]
メモリと計算効率のよい確率的フレームワークを提供し、クラスプロトタイプを抽出し、ターゲットとなる特徴をそれらと整合させる。
本稿では,単一ソース,マルチソース,クラス不均衡,ソースプライベートドメイン適応など,幅広いシナリオにおいて,本手法の汎用性を実証する。
論文 参考訳（メタデータ） (2021-10-22T19:23:22Z) - Stein Variational Model Predictive Control [130.60527864489168]
不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。
モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。
この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
論文 参考訳（メタデータ） (2020-11-15T22:36:59Z) - Post-selection inference with HSIC-Lasso [19.928884107444908]
本稿では,多面体補題と混在するガウスの枠組みを用いた選択的推論手法を提案する。
次に,計算コストの低いアルゴリズムを開発し,正規化パラメータの選択を行う。
提案手法の性能は, 実世界のデータベース実験と実世界のデータベース実験の両方で説明され, サンプルサイズが小さい場合でも, タイプI誤差の厳密な制御を強調した。
論文 参考訳（メタデータ） (2020-10-29T15:10:21Z) - Variable selection for Gaussian process regression through a sparse
projection [0.802904964931021]
本稿では,ガウス過程(GP)レグレッションと統合された新しい変数選択手法を提案する。
パラメータの調整と推定の精度を,選択したベンチマーク手法を用いて評価した。
論文 参考訳（メタデータ） (2020-08-25T01:06:10Z) - Scalable Control Variates for Monte Carlo Methods via Stochastic
Optimization [62.47170258504037]
本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。
新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
論文 参考訳（メタデータ） (2020-06-12T22:03:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。