論文の概要: Discovering More Effective Tensor Network Structure Search Algorithms
via Large Language Models (LLMs)
- arxiv url: http://arxiv.org/abs/2402.02456v1
- Date: Sun, 4 Feb 2024 12:06:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:39:09.727007
- Title: Discovering More Effective Tensor Network Structure Search Algorithms
via Large Language Models (LLMs)
- Title(参考訳): 大規模言語モデル(llms)によるより効果的なテンソルネットワーク構造探索アルゴリズムの発見
- Authors: Junhua Zeng, Guoxu Zhou, Chao Li, Zhun Sun, Qibin Zhao
- Abstract要約: ネットワーク構造探索(TN-SS)は,高次元問題を表現するために適切なテンソルネットワーク(TN)構造を探索することを目的としている。
より効率的なアルゴリズムを開発するために,TN-SSアルゴリズムの自動設計のために,大規模言語モデル(LLM)に埋め込まれた知識について検討する。
我々のアプローチはGPTN-SSと呼ばれ、進化的な方法で動作するLSMベースの巧妙なプロンプトシステムを活用している。
- 参考スコア(独自算出の注目度): 34.001800290357345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor network structure search (TN-SS), aiming at searching for suitable
tensor network (TN) structures in representing high-dimensional problems,
largely promotes the efficacy of TN in various machine learning applications.
Nonetheless, finding a satisfactory TN structure using existing algorithms
remains challenging. To develop more effective algorithms and avoid the human
labor-intensive development process, we explore the knowledge embedded in large
language models (LLMs) for the automatic design of TN-SS algorithms. Our
approach, dubbed GPTN-SS, leverages an elaborate crafting LLM-based prompting
system that operates in an evolutionary-like manner. The experimental results,
derived from real-world data, demonstrate that GPTN-SS can effectively leverage
the insights gained from existing methods to develop novel TN-SS algorithms
that achieve a better balance between exploration and exploitation. These
algorithms exhibit superior performance in searching the high-quality TN
structures for natural image compression and model parameters compression while
also demonstrating generalizability in their performance.
- Abstract(参考訳): テンソルネットワーク構造探索(TN-SS)は、高次元問題を表現するために適切なテンソルネットワーク(TN)構造を探すことを目的としており、様々な機械学習アプリケーションにおけるTNの有効性を大いに促進している。
それでも既存のアルゴリズムで満足なTN構造を見つけることは難しい。
より効率的なアルゴリズムを開発し、人間の労働集約的な開発プロセスを避けるため、TN-SSアルゴリズムの自動設計のための大規模言語モデル(LLM)に埋め込まれた知識を探索する。
我々のアプローチはGPTN-SSと呼ばれ、進化的な方法で動作するLLMベースのプロンプトシステムを活用している。
実世界のデータから得られた実験結果は、GPTN-SSが既存の手法から得られた知見を効果的に活用し、探索と利用のバランスを改善する新しいTN-SSアルゴリズムを開発することを実証している。
これらのアルゴリズムは、自然な画像圧縮とモデルパラメータ圧縮のための高品質なTN構造を探索し、その性能の一般化性を示す。
関連論文リスト
- AutoGCN -- Towards Generic Human Activity Recognition with Neural
Architecture Search [0.16385815610837165]
本稿では、グラフ畳み込みネットワーク(GCN)を用いた人間活動認識(HAR)のための汎用ニューラルアーキテクチャ探索(NAS)アルゴリズムであるAutoGCNを紹介する。
提案アルゴリズムの性能を評価するために,骨格に基づく行動認識に着目した2つの大規模データセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2024-02-02T11:07:27Z) - SVDinsTN: A Tensor Network Paradigm for Efficient Structure Search from
Regularized Modeling Perspective [43.715553981387465]
ネットワーク(TN)表現はコンピュータビジョンと機械学習の強力な技術である。
TN構造探索(TN-SS)は、コンパクトな表現を実現するためにカスタマイズされた構造を探すことを目的としている。
SVD-インスパイアされたTN分解(SVDinsTN)と呼ばれる新しいTNパラダイムを提案する。
論文 参考訳(メタデータ) (2023-05-24T09:02:01Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Permutation Search of Tensor Network Structures via Local Sampling [27.155329364896144]
本稿では,TN置換探索 (TN-PS) と呼ばれるTN-SSの実用的変種について考察する。
本稿では,TN-PSの問題を解決するために,実用的なアルゴリズムを提案する。
数値計算により,新しいアルゴリズムは,広範囲なベンチマークにおいて,TNの必要モデルサイズを削減できることが示されている。
論文 参考訳(メタデータ) (2022-06-14T05:12:49Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。
得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
論文 参考訳(メタデータ) (2021-04-19T14:43:07Z) - Continuous Ant-Based Neural Topology Search [62.200941836913586]
この研究は、アリコロニー最適化に基づく、自然に着想を得たニューラルアーキテクチャサーチ(NAS)アルゴリズムを導入している。
連続アントベースのニューラルトポロジーサーチ(CANTS)は、アリが現実世界でどのように動くかに強く影響を受けている。
論文 参考訳(メタデータ) (2020-11-21T17:49:44Z) - Adaptive Learning of Tensor Network Structures [6.407946291544721]
我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。
本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
論文 参考訳(メタデータ) (2020-08-12T16:41:56Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳(メタデータ) (2020-06-15T02:57:57Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - Sampled Training and Node Inheritance for Fast Evolutionary Neural
Architecture Search [22.483917379706725]
進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。
本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。
提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
論文 参考訳(メタデータ) (2020-03-07T12:33:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。