論文の概要: Stochastic Sequential Search in Very-High-Dimensional Feature Selection

• arxiv url: http://arxiv.org/abs/2608.01502v1
• Date: Sun, 02 Aug 2026 21:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.260968
• Title: Stochastic Sequential Search in Very-High-Dimensional Feature Selection
• Title（参考訳）: 超高次元特徴選択における確率列探索
• Abstract要約: 逐次サブセット検索は、機能選択における品質基準のままである。 フルスイープを置き換える、予算化されたサンプルステップ演算子ペアを導入します。 5000次元ギゼットでは、フルSFFSの到達範囲をはるかに超え、SFFSはDAFとBIFの飽和基準を超えている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential subset search -- forward selection with floating backtracking and its descendants -- remains the quality reference in feature selection, but every member of the family sweeps the full pool of remaining candidate features at each step, which excludes it from very-high-dimensional problems; there, only individual-feature ranking remains practical, and it models feature interplay weakly or not at all. We introduce a budgeted sampled step operator pair that replaces the full sweeps by a fixed number of candidate evaluations per step. Candidates are drawn by temperature-controlled softmax sampling from dependency-aware per-feature statistics learned online from every criterion evaluation the search performs, guarded by a uniform exploration floor; per-step cost becomes independent of dimensionality. Substituting the operators turns any sequential method into its stochastic counterpart, defining the Stochastic Sequential Search (SSS) family; we study the stochastic counterpart of floating search, sSFFS. On 500-dimensional madelon, sSFFS retains at least 97% of the full-SFFS criterion value at every subset size at about a quarter of its evaluations, while uniform sampling at the same budget collapses on madelon's synergistic features. On 5,000-dimensional gisette, far beyond full-SFFS reach, sSFFS exceeds the saturated criterion level of DAF and BIF ranking at matched budgets; holdout validation shows that at 500 training samples the binding constraint beyond the sequential frontier becomes the criterion, not the search. On 10,105-dimensional reuters, under a trustworthy multinomial filter criterion, sSFFS dominates BIF and DAF on the search objective and on holdout accuracy at every subset size, in about two minutes of single-core evaluation work. A verified standalone implementation accompanies the paper.
• Abstract（参考訳）: 連続的なサブセット検索 -- 浮動小数点追跡とその子孫による前方選択 -- は、機能選択における品質基準のままだが、各ステップにおいて、家族のすべてのメンバーが残りの候補機能の全プールを網羅し、非常に高次元の問題から除外する。 予算化されたステップ演算子ペアを導入し、全スイープをステップ毎に一定の数の候補評価によって置き換える。 候補は,一様探索フロアで保護された基準評価によってオンラインに学習された依存性認識毎機能統計から,温度制御されたソフトマックスサンプリングによって引き起こされる。 演算子を逐次的に確率探索に置き換え、確率列探索(Stochastic Sequential Search, SSS)ファミリーを定義し、浮動小数点探索の確率的手法であるsSFFSについて検討する。 500次元マデロンでは、SFFSは全てのサブセットサイズのSFFS基準値の少なくとも97%をその評価の4分の1で保持する一方、同じ予算での均一サンプリングはマデロンの相乗的特徴で崩壊する。 5000次元のギゼットでは、全SFFSの範囲をはるかに超え、SFFSはDAFとBIFの適合予算における飽和基準レベルを超え、ホールドアウトバリデーションは500のトレーニングサンプルにおいて、シーケンシャルフロンティアを超えた結合制約が探索ではなく基準となることを示している。 10,105次元リピュータでは、信頼性の高いマルチノミアルフィルタ基準の下で、SSFFSは探索目的と各サブセットサイズでのホールドアウト精度でBIFとDAFを約2分間のシングルコア評価作業で支配する。 検証済みのスタンドアロン実装は、その論文に付随する。

関連論文リスト

• Counterfactual Bias Testing for Application Tracking System [1.007765066765576]
  本稿では,タスク特化LDMエージェントを用いて,アイデンティティニュートラルベース履歴を合成し,人口統計学的治療を注入する。 それは、微調整された文埋め込みモデルとコサイン類似性を通じて、ジョブ記述に対する候補をランク付けする。 カウンターファクトアル(スコアデルタ、平均絶対ランク変更、フリップレート)、グループフェアネス(トップK保持、4/5/インパクト比)、メリットアウェア(リコール@K、nDCG@K、平等機会、等化オッズ)にまたがる9メトリックフェアネススイートを計算する。
  論文  参考訳（メタデータ） (2026-08-27T10:01:36Z)
• When to Truncate a Feature Ranking: A Residual-Overlap Stopping Rule for Subset Selection [0.0]
  本稿では,教師付き特徴ランクをクラスに依存しないサブセットに変換するための分散フレームワークを開発する。 高次元ゲノムデータセットに対する実証的な比較は、この規則が数万の変数を数ダースに削減できることを示している。
  論文  参考訳（メタデータ） (2026-06-30T14:00:29Z)
• Spokes: Optimizing for Diverse Pretraining Data Selection [82.66872118512403]
  本稿ではG-Vendiスコアに基づく確率的多様化フレームワークを提案する。 提案手法は, ランダムサンプリングにより得られたサブセットよりも, かなり多様なサブセットを生成する。 我々はFineWebとDCLMのアプローチを評価し、既存の手法を一貫して上回ります。
  論文  参考訳（メタデータ） (2026-06-13T09:28:46Z)
• Beyond Inference-Time Search: Reinforcement Learning Synthesizes Reusable Solvers [0.0]
  大規模言語モデル(LLM)は一般的に、各インスタンスを個別に解決する推論時プロシージャとして最適化にアプローチする。 本稿では,制約付きクナプサックの制御変種であるSDS(Synergistic Dependency Selection)について考察する。 Qwen2.5-Coder-14B-Instruct with Group Relative Policy Optimization using a feasibility-gated reward and light Structure scaffolding。
  論文  参考訳（メタデータ） (2026-05-18T13:21:40Z)
• F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
  大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。 この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。 このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。 本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T04:52:33Z)
• ROOFS: RObust biOmarker Feature Selection [0.4065263202661619]
  Roofsは、研究者が問題に適応したFSメソッドの選択を支援するために設計されたPythonパッケージである。 肺がんにおける抗PD-(L)1免疫療法に対する抵抗性の予測因子の同定を目的としたPIONeeR臨床試験のデータに基づく屋根の有用性を実証した。
  論文  参考訳（メタデータ） (2026-01-08T17:41:07Z)
• Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
  EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク 提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。 HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
  論文  参考訳（メタデータ） (2025-10-12T05:38:10Z)
• Combatting Dimensional Collapse in LLM Pre-Training Data via Diversified File Selection [65.96556073745197]
  DiverSified File selection algorithm (DiSF) は特徴空間における最も非相関なテキストファイルを選択するために提案される。 DiSFは590万のトレーニングファイルの98.5%をSlimPajamaに保存し、50Bのトレーニング予算内でのデータ事前トレーニングを上回っている。
  論文  参考訳（メタデータ） (2025-04-29T11:13:18Z)
• Cream of the Crop: Harvesting Rich, Scalable and Transferable Multi-Modal Data for Instruction Fine-Tuning [59.56171041796373]
  我々は、堅牢で効率的なマルチモーダル・インストラクショナルデータを収集する。 インタラクションスタイルを多様性指標とし、マルチモーダルリッチなスタイルラーを用いてデータインストラクションパターンを識別する。 14のマルチモーダルベンチマークによって検証された10以上の実験環境において、ランダムサンプリング、ベースライン戦略、最先端の選択方法に対する一貫した改善を示す。
  論文  参考訳（メタデータ） (2025-03-17T17:11:22Z)
• Federated Nonparametric Hypothesis Testing with Differential Privacy Constraints: Optimal Rates and Adaptive Tests [5.3595271893779906]
  フェデレート学習は、さまざまな場所でデータが収集され分析される広範囲な設定で適用可能であることから、近年大きな注目を集めている。 分散差分プライバシー(DP)制約下でのホワイトノイズ・ウィズ・ドリフトモデルにおける非パラメトリック適合性試験について検討した。
  論文  参考訳（メタデータ） (2024-06-10T19:25:19Z)
• Conformal Recursive Feature Elimination [0.0]
  コンフォーマル予測(CP)は、個々の予測に関連する有効かつ正確な信頼度を決定できる。 本稿では,CP フレームワークを利用した新しい特徴選択手法を提案する。
  論文  参考訳（メタデータ） (2024-05-29T18:10:36Z)
• Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs [60.58434523646137]
  大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。 コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。 実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
  論文  参考訳（メタデータ） (2023-05-19T17:49:25Z)
• Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems [62.83783246648714]
  目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。 アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
  論文  参考訳（メタデータ） (2022-11-29T05:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。