Fugu-MT 論文翻訳(概要): Instructing the Architecture Search for Spatial-temporal Sequence Forecasting with LLM

論文の概要: Instructing the Architecture Search for Spatial-temporal Sequence Forecasting with LLM

arxiv url: http://arxiv.org/abs/2503.17994v1
Date: Sun, 23 Mar 2025 08:59:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-25 16:32:16.937058
Title: Instructing the Architecture Search for Spatial-temporal Sequence Forecasting with LLM
Title（参考訳）: LLMを用いた時空間シーケンス予測のためのアーキテクチャ探索の指導
Authors: Xin Xue, Haoyi Zhou, Tianyu Chen, Shuai Zhang, Yizhou Long, Jianxin Li,
Abstract要約: 大規模言語モデル(LLM)に基づくSTSFのための新しいNAS手法を提案する。提案手法は,STSFの既存のNAS法に対して,より優れた効率で競合効率を実現することができる。
参考スコア（独自算出の注目度）: 18.649295352998546
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Spatial-temporal sequence forecasting (STSF) is a long-standing research problem with widespread real-world applications. Neural architecture search (NAS), which automates the neural network design, has been shown effective in tackling the STSF problem. However, the existing NAS methods for STSF focus on generating architectures in a time-consuming data-driven fashion, which heavily limits their ability to use background knowledge and explore the complicated search trajectory. Large language models (LLMs) have shown remarkable ability in decision-making with comprehensive internal world knowledge, but how it could benefit NAS for STSF remains unexplored. In this paper, we propose a novel NAS method for STSF based on LLM. Instead of directly generate architectures with LLM, We inspire the LLM's capability with a multi-level enhancement mechanism. Specifically, on the step-level, we decompose the generation task into decision steps with powerful prompt engineering and inspire LLM to serve as instructor for architecture search based on its internal knowledge. On the instance-level, we utilize a one-step tuning framework to quickly evaluate the architecture instance and a memory bank to cumulate knowledge to improve LLM's search ability. On the task-level, we propose a two-stage architecture search, balancing the exploration stage and optimization stage, to reduce the possibility of being trapped in local optima. Extensive experimental results demonstrate that our method can achieve competitive effectiveness with superior efficiency against existing NAS methods for STSF.
Abstract（参考訳）: 時空間シークエンス予測(STSF)は、現実世界に広く応用されている長年の研究課題である。ニューラルネットワーク設計を自動化するニューラルアーキテクチャサーチ(NAS)は,STSF問題に対処する上で有効であることが示されている。しかし、STSFの既存のNASメソッドは、時間を要するデータ駆動方式でアーキテクチャを生成することに重点を置いている。大規模言語モデル(LLM)は、包括的な内的知識を持つ意思決定において顕著な能力を示してきたが、それがSTSFのNASにどのような恩恵をもたらすかはまだ明らかになっていない。本稿では,LSMに基づくSTSFのための新しいNAS手法を提案する。 LLMでアーキテクチャを直接生成する代わりに、マルチレベル拡張機構でLCMの能力を刺激する。具体的には、ステップレベルでは、生成タスクを強力なプロンプトエンジニアリングで決定ステップに分解し、内部知識に基づくアーキテクチャ探索のインストラクターとしてLLMを刺激する。インスタンスレベルでは、1段階のチューニングフレームワークを用いてアーキテクチャのインスタンスとメモリバンクを迅速に評価し、LLMの検索能力を向上させるために知識を蓄積する。タスクレベルでは,探索段階と最適化段階のバランスをとる2段階アーキテクチャ探索を提案する。実験結果から,STSFの既存のNAS法に対して,本手法が優れた効率で競争効率を達成できることが示唆された。

関連論文リスト

Federated Neural Architecture Search with Model-Agnostic Meta Learning [7.542593703407386]
Federated Neural Architecture Search (NAS)は、異種データに適した最適なモデルアーキテクチャの協調検索を可能にする。メタラーニングをNASと統合するフレームワークであるFedMetaNASをフェデレートラーニングコンテキスト内に導入する。その結果,FedMetaNASはFedNASに比べて50%以上の精度で検索処理を高速化することがわかった。
論文参考訳（メタデータ） (2025-04-08T21:57:40Z)
R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
論文参考訳（メタデータ） (2025-03-07T17:14:44Z)
SEKI: Self-Evolution and Knowledge Inspiration based Neural Architecture Search via Large Language Models [11.670056503731905]
本稿では,新しい大規模言語モデル (LLM) に基づくニューラルアーキテクチャ探索 (NAS) 手法であるSEKIを紹介する。現代のLLMにおけるチェーン・オブ・シント(CoT)パラダイムにインスパイアされたセキは、自己進化と知識蒸留という2つの重要な段階で動作している。
論文参考訳（メタデータ） (2025-02-27T09:17:49Z)
NADER: Neural Architecture Design via Multi-Agent Collaboration [37.48197934228379]
ニューラルアーキテクチャ設計(NAD)を多エージェント協調問題として定式化する新しいフレームワークであるNADERを紹介する。本稿では,即時フィードバックと長期経験から効果的に学習するリフレクタを提案する。ニューラルアーキテクチャを表現するためにコードを使った従来のLCMベースの手法とは異なり、グラフベースの表現を用いる。
論文参考訳（メタデータ） (2024-12-26T13:07:03Z)
Design Principle Transfer in Neural Architecture Search via Large Language Models [37.004026595537006]
トランスファーブルニューラルアーキテクチャサーチ(TNAS)は、複数のタスクのための効率的なニューラルアーキテクチャを設計するために導入された。 TNASでは、従来の検索プロセスに蓄積されたアーキテクチャ知識を再利用して、新しいタスクのアーキテクチャ検索を温める。本研究は,新しい伝達パラダイム,すなわち設計原理伝達を提案する。
論文参考訳（メタデータ） (2024-08-21T04:27:44Z)
Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文参考訳（メタデータ） (2024-08-17T11:49:53Z)
Structure-aware Domain Knowledge Injection for Large Language Models [38.08691252042949]
StructTuningは、大規模言語モデル(LLM)をドメインスペシャリストに変換する方法論である。従来の知識注入性能の100パーセントを達成しながら、トレーニングコーパスに必要なトレーニングコーパスをわずか5%削減します。
論文参考訳（メタデータ） (2024-07-23T12:38:48Z)
Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
論文参考訳（メタデータ） (2024-06-14T19:24:00Z)
LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文参考訳（メタデータ） (2024-02-26T07:33:05Z)
LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization [4.951599300340954]
大きな言語モデル(LLM)は、幅広いタスクをこなせる強力なツールとして登場した。本稿では、LLMの符号化機能を用いて、ニューラルネットワークを定義するコードに意味のあるバリエーションを導入することを提案する。本稿では,LLMのコード生成能力とQDソリューションの多様性と堅牢性を融合させることで,ニューラルネットワーク探索(NAS)アルゴリズムであるtextttLLMaticを導入する。
論文参考訳（メタデータ） (2023-06-01T19:33:21Z)
Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
論文参考訳（メタデータ） (2021-08-03T00:54:27Z)
CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文参考訳（メタデータ） (2020-07-18T09:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。