論文の概要: Searching with Sparse Histories: Cross-Task Architecture Search from Incomplete Search Logs and Zero-Cost Proxies

• arxiv url: http://arxiv.org/abs/2610.32179v1
• Date: Fri, 23 Oct 2026 05:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.395406
• Title: Searching with Sparse Histories: Cross-Task Architecture Search from Incomplete Search Logs and Zero-Cost Proxies
• Title（参考訳）: スパース履歴による検索:不完全検索ログとゼロコストプロキシからのクロスタスクアーキテクチャ検索
• Abstract要約: クロスタスク転送は、以前のタスクから知識を再利用することでコストを削減することができる。 本稿では、スパースソースログとゼロコストプロキシを組み合わせたリスクロバスト戦略を提案する。 13のセルスペースターゲットに対して、平均と最悪のパフォーマンスの両方で、10のターゲットに対してプロキシのみのローダを上回ります。
• 参考スコア（独自算出の注目度）: 11.463858596773361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) is expensive, but cross-task transfer can reduce costs by reusing knowledge from previous tasks. However, existing methods struggle with sparse search histories and task-specific transfer failures. We propose a method, a risk-robust strategy that combines sparse source logs with zero-cost proxies through champion-based initialization and joint pairwise-ranker pretraining. On TransNAS-Bench-101, the proposal mitigates severe worst-case failures, reducing worst-10% ranks from 290 to 43 for Micro autoencoding and from 465 to 45 for Macro room layout. Across 13 cell-space targets, it outperforms a proxy-only ranker on 10 targets in both mean and worst-case performance, while maintaining competitive average performance.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は高価だが、クロスタスク転送は、以前のタスクから知識を再利用することでコストを削減することができる。 しかし、既存の手法はスパース検索履歴やタスク固有の転送失敗に苦慮している。 本稿では,チャンピオンベースの初期化と共同ペアランカ事前学習を通じて,スパースソースログとゼロコストプロキシを組み合わせたリスクロバスト戦略を提案する。 TransNAS-Bench-101では、この提案は深刻な最悪のケースの失敗を軽減し、最悪の10%のランクをマイクロオートエンコーディングの290から43、マクロルームレイアウトの465から45まで下げた。 13のセルスペースターゲットに対して、平均と最悪のパフォーマンスの両方において、プロキシのみのローダを10のターゲットで上回り、競争平均パフォーマンスを維持している。

関連論文リスト

• Conditional Transfer from Controlled Pretraining Mixtures to Code [2.030567625639093]
  合成タスクは、言語モデル能力のプローブや事前学習データとしての利用が増えている。 タスクは、その損失が世界的な事前訓練の進捗を追跡するときに診断され、その損失が自身のトークン予算に応答した時に教えられる。 損失ベース適応スケジューラは、残留損失再現性と下流転送とのミスマッチを露呈する。
  論文  参考訳（メタデータ） (2026-10-08T09:12:45Z)
• Greedy Local Learning for Language Model Pretraining: Gaps and Objective Design [36.09456937532108]
  ローカライズ学習はエンドツーエンドのバックプロパゲーション分類と競合するものであり、小さなトランスフォーマーでは、並列スピードアップにとって最悪の損失であることが知られている。 本研究は, ケチラ最適予算において, 125M と400M のパラメータを 1,2,4 ドルのブロックで表し, 補助設計をネットワークアーキテクチャと学習目標に分解した。
  論文  参考訳（メタデータ） (2026-10-04T02:10:52Z)
• Consensus-gated Multi-Agent Neural Architecture Search for Seismic Fault Segmentation [0.17188280334580194]
  地震断層セグメンテーションのためのニューラルネットワークは、しばしばコンピュータビジョンや医療画像領域から借用される。 古典的ニューラルアーキテクチャサーチ(NAS)は手作りの検索スペースと大規模な計算予算に限定されている。 本稿では,3つの大規模言語モデル(Claude, GPT-5.1, Gemini2.5Pro)からなるエージェントNASシステムを提案する。
  論文  参考訳（メタデータ） (2026-08-14T02:41:37Z)
• Adaptive Re-Ranking [9.210588331263503]
  コスト対応ルーティングのためのユーティリティベースのラベリングフレームワークであるAdaptive Re-Rankingを提案する。 我々は、スパース検索(BM25)、密度再ランク(MiniLM-L6-v2)、重神経再ランク(BGE-v2-m3)の3つの戦略でルーティング分類器を訓練する。 BGEと比較すると,テスト対象のデータセットの平均レイテンシは1.15～53倍,平均レイテンシは1.11～5.22倍で,-17.5%から+4.0%のnDCG@10を提供する。
  論文  参考訳（メタデータ） (2026-06-24T00:12:44Z)
• Low Rank Learning for Offline Query Optimization [9.66585417707793]
  近年の学習クエリのデプロイでは、高価なニューラルネットワークとアドホック検索ポリシが使用されている。 低ランク学習を利用したオフラインクエリ最適化フレームワークである textscLimeQO を紹介する。 作業負荷を部分的に観測された低ランク行列としてモデル化することにより、純粋に線形な手法を用いて、観測されていないクエリプランのレイテンシを予測する。
  論文  参考訳（メタデータ） (2025-04-08T19:41:19Z)
• TransPath: Learning Heuristics For Grid-Based Pathfinding via Transformers [64.88759709443819]
  探索の効率を顕著に向上させると考えられる,インスタンス依存のプロキシを学習することを提案する。 私たちが最初に学ぶことを提案するプロキシは、補正係数、すなわち、インスタンスに依存しないコスト・ツー・ゴの見積もりと完璧な見積もりの比率である。 第2のプロキシはパス確率であり、グリッドセルが最も短いパスに横たわっている可能性を示している。
  論文  参考訳（メタデータ） (2022-12-22T14:26:11Z)
• Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval [49.98615945702959]
  我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。 以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:53:44Z)
• Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
  ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。 本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。 公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
  論文  参考訳（メタデータ） (2021-03-22T15:09:29Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。