論文の概要: Criticality in Dissimilar Decomposition and Undersampling of Random Datasets with Anomalies
- arxiv url: http://arxiv.org/abs/2609.13201v1
- Date: Fri, 14 Aug 2026 06:15:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 16:32:15.654759
- Title: Criticality in Dissimilar Decomposition and Undersampling of Random Datasets with Anomalies
- Title(参考訳): 異常を伴うランダムデータセットの異種分解とアンダーサンプリングの臨界性
- Abstract要約: 我々は、AI生成データを、主データポイントにリンクした異常であるとみなし、全体ランダムデータセットの分解とアンダーサンプリング特性について研究する。
また、ランダムにアンサンプされたデータセットの強い類似性に対して、サイズ臨界性結果を確立する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training datasets for upcoming LLMs would include a significant amount of AI text/image data generated from current LLMs. In such a scenario, it is important to understand how this affects batch decompositions and thereby, the performance of the resultant new LLM. In this paper, we consider AI generated data as anomalies ``linked" to main data points and study decomposition and undersampling properties of the overall random dataset. We use redundancy graphs and iteration techniques to obtain bounds for the minimum size of a strongly dissimilar (SD) decomposition and demonstrate a phase transition phenomena, wherein the minimum size is essentially determined by the \emph{main} data points when the number of anomalies is small and is ``taken" over by the anomalies above a certain threshold. We also establish a size criticality result for the strong similarity of a randomly undersampled dataset and illustrate our results with examples involving categorical datasets, whose overall space size is much larger than the size of the dataset.
- Abstract(参考訳): 今後のLLMのためのトレーニングデータセットには、現在のLLMから生成される膨大な量のAIテキスト/イメージデータが含まれている。
このようなシナリオでは、これがバッチ分解にどのように影響するかを理解することが重要であり、その結果、新しいLCMの性能が向上する。
本稿では,AI生成データを主データ点に「リンク」した異常とみなし,全体のランダムデータセットの分解とアンサンプ特性について検討する。
我々は冗長グラフと反復法を用いて、強い異相分解(SD)の最小サイズの境界を求め、位相遷移現象を示す。
また、ランダムにアンサンプされたデータセットの強い類似性に対するサイズクリティカルな結果を確立し、データセットの全体サイズがデータセットのサイズよりもはるかに大きいカテゴリデータセットを含む例で結果を説明する。
関連論文リスト
- Sample efficient inductive matrix completion with noise and inexact side information [7.5686409814551245]
低ランク行列完備化は多くの変種で広く研究されている問題である。
帰納行列補完(IMC)は行と列の側情報を組み込んで探索空間を著しく狭める。
論文 参考訳(メタデータ) (2026-05-16T23:10:10Z) - Inverse Reinforcement Learning for Minimum-Exposure Paths in Spatiotemporally Varying Scalar Fields [49.1574468325115]
このようなパスのトレーニングデータセットに類似した最小露出パスのデータセットを合成する問題を考える。
本論文の主な貢献は、この問題を解決するための逆強化学習(IRL)モデルである。
提案したIRLモデルは,トレーニングデータセットにない初期条件から経路を合成する際の優れた性能を提供する。
論文 参考訳(メタデータ) (2025-03-09T13:30:11Z) - Minimally Supervised Learning using Topological Projections in
Self-Organizing Maps [55.31182147885694]
自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。
提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。
提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
論文 参考訳(メタデータ) (2024-01-12T22:51:48Z) - RIFLE: Imputation and Robust Inference from Low Order Marginals [10.082738539201804]
我々は,不備なデータの存在下での回帰と分類のための統計的推論フレームワークを開発する。
我々のフレームワークであるRIFLEは、基礎となるデータ分布の低次モーメントを対応する信頼区間で推定し、分布的に堅牢なモデルを学ぶ。
実験の結果,RIFLEは,欠落値の割合が高い場合や,データポイント数が比較的小さい場合には,他のベンチマークアルゴリズムよりも優れていることがわかった。
論文 参考訳(メタデータ) (2021-09-01T23:17:30Z) - Entropy Minimizing Matrix Factorization [102.26446204624885]
NMF(Nonnegative Matrix Factorization)は、広く使用されているデータ分析技術であり、多くの実際のタスクで印象的な結果をもたらしました。
本研究では,上述の問題に対処するために,EMMF (Entropy Minimizing Matrix Factorization framework) を開発した。
通常、外れ値が通常のサンプルよりもはるかに小さいことを考えると、行列分解のために新しいエントロピー損失関数が確立される。
論文 参考訳(メタデータ) (2021-03-24T21:08:43Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳(メタデータ) (2020-12-29T04:08:38Z) - Evaluating representations by the complexity of learning low-loss
predictors [55.94170724668857]
下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。
本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
論文 参考訳(メタデータ) (2020-09-15T22:06:58Z) - Clustering small datasets in high-dimension by random projection [2.2940141855172027]
統計的に重要なクラスタリング構造を小さなデータセットで見つけるための低計算手法を提案する。
この手法は、ランダムな線上にデータを投影し、その結果の1次元データにバイナリクラスタリングを求める。
得られたクラスタリング構造の統計的妥当性を投影された一次元空間で検証する。
論文 参考訳(メタデータ) (2020-08-21T16:49:37Z) - Categorical anomaly detection in heterogeneous data using minimum
description length clustering [3.871148938060281]
異種データを扱うため,MPLに基づく異常検出モデルの拡張のためのメタアルゴリズムを提案する。
実験の結果, 離散混合モデルを用いることで, 従来の2つの異常検出アルゴリズムと比較して, 競合性能が向上することがわかった。
論文 参考訳(メタデータ) (2020-06-14T14:48:37Z) - Performance Analysis of Semi-supervised Learning in the Small-data
Regime using VAEs [0.261072980439312]
そこで本研究では,データ空間の潜在空間表現を事前学習した既存のアルゴリズムを用いて,データ構造入力の低次元の特徴を抽出する手法を提案する。
微調整された潜在空間は、分類に有用な一定の重みを与える。
ここでは、半教師付き学習において、遅延空間サイズが異なるVAEアルゴリズムの性能解析について述べる。
論文 参考訳(メタデータ) (2020-02-26T16:19:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。