Fugu-MT 論文翻訳(概要): On the Selection of Tuning Parameters for Patch-Stitching Embedding Methods

論文の概要: On the Selection of Tuning Parameters for Patch-Stitching Embedding Methods

arxiv url: http://arxiv.org/abs/2207.07218v2
Date: Wed, 18 Oct 2023 03:48:23 GMT
ステータス: 処理完了
システム内更新日: 2023-10-19 13:39:26.370067
Title: On the Selection of Tuning Parameters for Patch-Stitching Embedding Methods
Title（参考訳）: パッチストッチ埋め込み法におけるチューニングパラメータの選択について
Authors: Ery Arias-Castro, Phong Alain Chau
Abstract要約: 我々は、チューニングパラメータの選択を監督する単純でほぼ明白なアプローチを提案する。本手法は, プロトタイプなパッチスチッチ埋め込み法において, パッチサイズの選択に適用する。
参考スコア（独自算出の注目度）: 5.22145960878624
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While classical scaling, just like principal component analysis, is parameter-free, other methods for embedding multivariate data require the selection of one or several tuning parameters. This tuning can be difficult due to the unsupervised nature of the situation. We propose a simple, almost obvious, approach to supervise the choice of tuning parameter(s): minimize a notion of stress. We apply this approach to the selection of the patch size in a prototypical patch-stitching embedding method, both in the multidimensional scaling (aka network localization) setting and in the dimensionality reduction (aka manifold learning) setting. In our study, we uncover a new bias--variance tradeoff phenomenon.
Abstract（参考訳）: 古典的なスケーリングは主成分分析と同様にパラメータフリーであるが、多変量データの埋め込みには1つまたは複数のチューニングパラメータを選択する必要がある。このチューニングは、状況の監督されていない性質のために難しい可能性がある。本稿では,ストレスの概念を最小化するために,パラメータのチューニングの選択を監督するシンプルな,ほぼ明白なアプローチを提案する。本稿では,マルチ次元スケーリング(ネットワークローカライゼーション)設定と次元縮小(多様体学習)設定の両方において,プロトタイプなパッチスティッチ埋め込み方式におけるパッチサイズの選択に適用する。本研究では,新しいバイアス-分散トレードオフ現象を明らかにする。

関連論文リスト

Implicit Regularization for Multi-label Feature Selection [1.5771347525430772]
暗黙の正規化とラベル埋め込みに基づく新しい推定器を用いて,多言語学習の文脈における特徴選択の問題に対処する。いくつかの既知のベンチマークデータセットの実験結果から、提案された推定器は余分なバイアスを伴わず、良心的な過度な適合につながる可能性が示唆されている。
論文参考訳（メタデータ） (2024-11-18T10:08:05Z)
Dynamic Subset Tuning: Expanding the Operational Range of Parameter-Efficient Training for Large Language Models [14.762222323897978]
大規模言語モデルのための新しいパラメータ効率訓練法を提案する。従来の方法とは異なり、このサブセットはロケーションで固定されるのではなく、トレーニングの過程でどのパラメータが修正されるかである。本手法により, モデル全体の任意の割合で, サブセットサイズをシームレスにスケーリングすることができる。
論文参考訳（メタデータ） (2024-11-13T13:53:10Z)
Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文参考訳（メタデータ） (2024-07-08T12:32:51Z)
Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文参考訳（メタデータ） (2023-11-28T11:23:34Z)
Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
論文参考訳（メタデータ） (2022-05-03T09:23:07Z)
Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.24999406296867]
標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
論文参考訳（メタデータ） (2022-03-14T07:56:32Z)
A Prototype-Oriented Framework for Unsupervised Domain Adaptation [52.25537670028037]
メモリと計算効率のよい確率的フレームワークを提供し、クラスプロトタイプを抽出し、ターゲットとなる特徴をそれらと整合させる。本稿では,単一ソース,マルチソース,クラス不均衡,ソースプライベートドメイン適応など,幅広いシナリオにおいて,本手法の汎用性を実証する。
論文参考訳（メタデータ） (2021-10-22T19:23:22Z)
Stein Variational Model Predictive Control [130.60527864489168]
不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
論文参考訳（メタデータ） (2020-11-15T22:36:59Z)
Post-selection inference with HSIC-Lasso [19.928884107444908]
本稿では,多面体補題と混在するガウスの枠組みを用いた選択的推論手法を提案する。次に,計算コストの低いアルゴリズムを開発し,正規化パラメータの選択を行う。提案手法の性能は, 実世界のデータベース実験と実世界のデータベース実験の両方で説明され, サンプルサイズが小さい場合でも, タイプI誤差の厳密な制御を強調した。
論文参考訳（メタデータ） (2020-10-29T15:10:21Z)
Variable selection for Gaussian process regression through a sparse projection [0.802904964931021]
本稿では,ガウス過程(GP)レグレッションと統合された新しい変数選択手法を提案する。パラメータの調整と推定の精度を,選択したベンチマーク手法を用いて評価した。
論文参考訳（メタデータ） (2020-08-25T01:06:10Z)
Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
論文参考訳（メタデータ） (2020-06-12T22:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。