論文の概要: tnGPS: Discovering Unknown Tensor Network Structure Search Algorithms via Large Language Models (LLMs)

• arxiv url: http://arxiv.org/abs/2402.02456v2
• Date: Sat, 1 Jun 2024 15:54:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 19:13:07.180263
• Title: tnGPS: Discovering Unknown Tensor Network Structure Search Algorithms via Large Language Models (LLMs)
• Title（参考訳）: tnGPS:Large Language Models (LLMs)による未知のテンソルネットワーク構造探索アルゴリズムの発見
• Authors: Junhua Zeng, Chao Li, Zhun Sun, Qibin Zhao, Guoxu Zhou,
• Abstract要約: 本研究では,大規模言語モデルを用いてテンソルネットワーク構造探索(TN-SS)アルゴリズムの自動探索を行う。 人間の研究者による研究の革新を観察することにより,tnGPSと呼ばれる自動アルゴリズム発見フレームワークを提案する。 提案するフレームワークは、LCMに反復的な改良と拡張を通じて新しいTN-SSアルゴリズムを生成するよう指示する精巧なプロンプトパイプラインである。
• 参考スコア（独自算出の注目度）: 31.69308712027795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor networks are efficient for extremely high-dimensional representation, but their model selection, known as tensor network structure search (TN-SS), is a challenging problem. Although several works have targeted TN-SS, most existing algorithms are manually crafted heuristics with poor performance, suffering from the curse of dimensionality and local convergence. In this work, we jump out of the box, studying how to harness large language models (LLMs) to automatically discover new TN-SS algorithms, replacing the involvement of human experts. By observing how human experts innovate in research, we model their common workflow and propose an automatic algorithm discovery framework called tnGPS. The proposed framework is an elaborate prompting pipeline that instruct LLMs to generate new TN-SS algorithms through iterative refinement and enhancement. The experimental results demonstrate that the algorithms discovered by tnGPS exhibit superior performance in benchmarks compared to the current state-of-the-art methods.
• Abstract（参考訳）: テンソルネットワークは非常に高次元表現に適しているが、テンソルネットワーク構造探索(TN-SS)と呼ばれるモデル選択は難しい問題である。 いくつかの研究がTN-SSをターゲットにしているが、既存のアルゴリズムのほとんどは手作業によるヒューリスティックで、性能は悪く、次元と局所収束の呪いに悩まされている。 そこで本研究では,大規模言語モデル(LLM)を用いて,新たなTN-SSアルゴリズムを自動検出し,人間の関与を代替する方法について検討する。 人間の研究者がどのように研究を革新するかを観察することによって、共通のワークフローをモデル化し、tnGPSと呼ばれる自動アルゴリズム発見フレームワークを提案する。 提案するフレームワークは、LCMに反復的な改良と拡張を通じて新しいTN-SSアルゴリズムを生成するよう指示する精巧なプロンプトパイプラインである。 実験結果から, tnGPSにより検出されたアルゴリズムは, 現在の最先端手法と比較して, ベンチマークにおいて優れた性能を示した。

関連論文リスト

• AutoGCN -- Towards Generic Human Activity Recognition with Neural Architecture Search [0.16385815610837165]
  本稿では、グラフ畳み込みネットワーク(GCN)を用いた人間活動認識(HAR)のための汎用ニューラルアーキテクチャ探索(NAS)アルゴリズムであるAutoGCNを紹介する。 提案アルゴリズムの性能を評価するために,骨格に基づく行動認識に着目した2つの大規模データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-02-02T11:07:27Z)
• Genetically Modified Wolf Optimization with Stochastic Gradient Descent for Optimising Deep Neural Networks [0.0]
  本研究の目的は、人口ベースメタヒューリスティックアルゴリズムを用いて、ニューラルネットワーク(NN)重み付けを最適化するための代替アプローチを分析することである。 Grey Wolf (GWO) と Genetic Modified Algorithms (GA) のハイブリッドをグラディエント・Descent (SGD) と組み合わせて検討した。 このアルゴリズムは、高次元性の問題にも対処しながら、エクスプロイトと探索の組み合わせを可能にする。
  論文  参考訳（メタデータ） (2023-01-21T13:22:09Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Permutation Search of Tensor Network Structures via Local Sampling [27.155329364896144]
  本稿では,TN置換探索 (TN-PS) と呼ばれるTN-SSの実用的変種について考察する。 本稿では,TN-PSの問題を解決するために,実用的なアルゴリズムを提案する。 数値計算により,新しいアルゴリズムは,広範囲なベンチマークにおいて,TNの必要モデルサイズを削減できることが示されている。
  論文  参考訳（メタデータ） (2022-06-14T05:12:49Z)
• Self Semi Supervised Neural Architecture Search for Semantic Segmentation [6.488575826304023]
  セグメンテーションの課題に対する自己監督と半教師付き学習に基づくニューラルアーキテクチャ検索戦略を提案する。 このアプローチは、このタスクに最適化されたニューラルネットワークモデルを構築します。 CityscapesとPASCAL VOC 2012データセットの実験では、発見されたニューラルネットワークは最先端の手作りNNモデルよりも効率的であることが示されている。
  論文  参考訳（メタデータ） (2022-01-29T19:49:44Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
  本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。 得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
  論文  参考訳（メタデータ） (2021-04-19T14:43:07Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• A Supervised Learning Algorithm for Multilayer Spiking Neural Networks Based on Temporal Coding Toward Energy-Efficient VLSI Processor Design [2.6872737601772956]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、スパイクの形で情報を処理できる脳にインスパイアされた数学的モデルである。 時間符号化に基づくSNNのための新しい教師付き学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-08T03:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。