論文の概要: Dataset-Adaptive Dimensionality Reduction

• arxiv url: http://arxiv.org/abs/2507.11984v1
• Date: Wed, 16 Jul 2025 07:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.27711
• Title: Dataset-Adaptive Dimensionality Reduction
• Title（参考訳）: データセット適応次元化
• Authors: Hyeon Jeon, Jeongin Park, Soohyun Lee, Dae Hyun Kim, Sungbok Shin, Jinwook Seo,
• Abstract要約: 本稿では,構造的複雑性メトリクスによって導かれる次元削減(DR)最適化に対するデータセット適応アプローチを提案する。 これらのメトリクスは、データセットの固有の複雑さを定量化し、それを正確に表現するために高次元空間が必要であるかどうかを予測する。 我々は、我々のデータセット適応ワークフローが精度を損なうことなくDR最適化の効率を大幅に向上させることを実証的に示す。
• 参考スコア（独自算出の注目度）: 11.180683480772373
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Selecting the appropriate dimensionality reduction (DR) technique and determining its optimal hyperparameter settings that maximize the accuracy of the output projections typically involves extensive trial and error, often resulting in unnecessary computational overhead. To address this challenge, we propose a dataset-adaptive approach to DR optimization guided by structural complexity metrics. These metrics quantify the intrinsic complexity of a dataset, predicting whether higher-dimensional spaces are necessary to represent it accurately. Since complex datasets are often inaccurately represented in two-dimensional projections, leveraging these metrics enables us to predict the maximum achievable accuracy of DR techniques for a given dataset, eliminating redundant trials in optimizing DR. We introduce the design and theoretical foundations of these structural complexity metrics. We quantitatively verify that our metrics effectively approximate the ground truth complexity of datasets and confirm their suitability for guiding dataset-adaptive DR workflow. Finally, we empirically show that our dataset-adaptive workflow significantly enhances the efficiency of DR optimization without compromising accuracy.
• Abstract（参考訳）: 適切な次元減少(DR)技法を選択し、出力射影の精度を最大化する最適なハイパーパラメータ設定を決定するには、通常、広範囲な試行錯誤と、しばしば不要な計算オーバーヘッドが発生する。 この課題に対処するため、構造的複雑性メトリクスによって導かれるDR最適化に対するデータセット適応アプローチを提案する。 これらのメトリクスは、データセットの固有の複雑さを定量化し、それを正確に表現するために高次元空間が必要であるかどうかを予測する。 複雑なデータセットは、しばしば2次元の投影で不正確に表現されるため、これらのメトリクスを利用することで、与えられたデータセットに対するDR技術の最大限の精度を予測でき、DR最適化における冗長な試行を排除できる。 我々は,データセットの真理複雑性を効果的に近似し,データセット適応型DRワークフローへの適合性を定量的に検証する。 最後に、我々のデータセット適応ワークフローは、精度を損なうことなくDR最適化の効率を大幅に向上させることを示す。

関連論文リスト

• MOE-Enhanced Explanable Deep Manifold Transformation for Complex Data Embedding and Visualization [47.4136073281818]
  データ工学や可視化など,さまざまな分野において,次元性低減(DR)が重要な役割を担っている。 DR手法は精度と透明性のトレードオフに直面しており、パフォーマンスの最適化は説明可能性の低下につながる。 この研究は、MOEに基づく説明可能なDeep Manifold Transformation (DMT-ME)を導入している。
  論文  参考訳（メタデータ） (2024-10-25T12:11:32Z)
• Efficient adjustment for complex covariates: Gaining efficiency with DOPE [56.537164957672715]
  共変量によって表現される情報のサブセットを調整可能なフレームワークを提案する。 理論的な結果に基づいて,平均処理効果(ATE)の効率的な評価を目的とした,デバイアスドアウトカム適応確率推定器(DOPE)を提案する。 その結果,DOPE は様々な観測環境において ATE 推定のための効率的かつ堅牢な手法を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-20T13:02:51Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• A Bayesian Gaussian Process-Based Latent Discriminative Generative Decoder (LDGD) Model for High-Dimensional Data [0.41942958779358674]
  潜在判別生成デコーダ(LDGD)は、多様体発見過程において、データと関連するラベルの両方を用いる。 LDGDは,データサイズに制限のあるシナリオに対して,多様体を頑健に推論し,正確にラベルを予測することができることを示す。
  論文  参考訳（メタデータ） (2024-01-29T19:11:03Z)
• Integer Optimization of CT Trajectories using a Discrete Data Completeness Formulation [3.924235219960689]
  X線CTは、幅広い医療・産業用途のために3次元構造をデジタル化する上で重要な役割を果たしている。 従来のCTシステムは、しばしば標準的な円形およびヘリカルスキャンの軌跡に依存しており、大きな物体、複雑な構造、資源の制約を含む挑戦的なシナリオには最適ではないかもしれない。 我々は、対象物に関する任意の視点から投影を得る柔軟性を提供する双対ロボットCTシステムの可能性を探っている。
  論文  参考訳（メタデータ） (2024-01-29T10:38:58Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• Optimizer's Information Criterion: Dissecting and Correcting Bias in Data-Driven Optimization [16.57676001669012]
  データ駆動最適化では、得られた決定のサンプル性能は通常、真の性能に対して楽観的なバイアスを生じさせる。 クロスバリデーションのような、このバイアスを修正するための一般的なテクニックは、追加の最適化問題を繰り返し解決する必要があるため、コストがかかる。 我々は一階偏差を直接近似する一般バイアス補正手法を開発し、追加の最適化問題を解く必要はない。
  論文  参考訳（メタデータ） (2023-06-16T07:07:58Z)
• Wasserstein Distributionally Robust Estimation in High Dimensions: Performance Analysis and Optimal Hyperparameter Tuning [2.4578723416255754]
  分散ロバスト最適化(DRO)は不確実性の下での見積もりの強力なフレームワークとなっている。 本稿では,DROに基づく線形回帰法を提案し,その中心的問題,すなわちロバストネス半径を最適に選択する方法を提案する。 本手法はクロスバリデーションと同じ効果を示すが,計算コストのごく一部で実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:02:59Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Approximate Dynamics Lead to More Optimal Control: Efficient Exact Derivatives [0.0]
  ここでは、この精度要件を満たすための計算可能性は、伝播スキームと問題表現の選択に依存することを示す。 この手法は、非常に高次元の力学を数値的に効率的に最適化することを可能にする。
  論文  参考訳（メタデータ） (2020-05-20T10:02:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。