論文の概要: Discovering More Effective Tensor Network Structure Search Algorithms via Large Language Models (LLMs)

• arxiv url: http://arxiv.org/abs/2402.02456v1
• Date: Sun, 4 Feb 2024 12:06:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 19:39:09.727007
• Title: Discovering More Effective Tensor Network Structure Search Algorithms via Large Language Models (LLMs)
• Title（参考訳）: 大規模言語モデル(llms)によるより効果的なテンソルネットワーク構造探索アルゴリズムの発見
• Authors: Junhua Zeng, Guoxu Zhou, Chao Li, Zhun Sun, Qibin Zhao
• Abstract要約: ネットワーク構造探索(TN-SS)は,高次元問題を表現するために適切なテンソルネットワーク(TN)構造を探索することを目的としている。 より効率的なアルゴリズムを開発するために,TN-SSアルゴリズムの自動設計のために,大規模言語モデル(LLM)に埋め込まれた知識について検討する。 我々のアプローチはGPTN-SSと呼ばれ、進化的な方法で動作するLSMベースの巧妙なプロンプトシステムを活用している。
• 参考スコア（独自算出の注目度）: 34.001800290357345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor network structure search (TN-SS), aiming at searching for suitable tensor network (TN) structures in representing high-dimensional problems, largely promotes the efficacy of TN in various machine learning applications. Nonetheless, finding a satisfactory TN structure using existing algorithms remains challenging. To develop more effective algorithms and avoid the human labor-intensive development process, we explore the knowledge embedded in large language models (LLMs) for the automatic design of TN-SS algorithms. Our approach, dubbed GPTN-SS, leverages an elaborate crafting LLM-based prompting system that operates in an evolutionary-like manner. The experimental results, derived from real-world data, demonstrate that GPTN-SS can effectively leverage the insights gained from existing methods to develop novel TN-SS algorithms that achieve a better balance between exploration and exploitation. These algorithms exhibit superior performance in searching the high-quality TN structures for natural image compression and model parameters compression while also demonstrating generalizability in their performance.
• Abstract（参考訳）: テンソルネットワーク構造探索(TN-SS)は、高次元問題を表現するために適切なテンソルネットワーク(TN)構造を探すことを目的としており、様々な機械学習アプリケーションにおけるTNの有効性を大いに促進している。 それでも既存のアルゴリズムで満足なTN構造を見つけることは難しい。 より効率的なアルゴリズムを開発し、人間の労働集約的な開発プロセスを避けるため、TN-SSアルゴリズムの自動設計のための大規模言語モデル(LLM)に埋め込まれた知識を探索する。 我々のアプローチはGPTN-SSと呼ばれ、進化的な方法で動作するLLMベースのプロンプトシステムを活用している。 実世界のデータから得られた実験結果は、GPTN-SSが既存の手法から得られた知見を効果的に活用し、探索と利用のバランスを改善する新しいTN-SSアルゴリズムを開発することを実証している。 これらのアルゴリズムは、自然な画像圧縮とモデルパラメータ圧縮のための高品質なTN構造を探索し、その性能の一般化性を示す。

関連論文リスト

• AutoGCN -- Towards Generic Human Activity Recognition with Neural Architecture Search [0.16385815610837165]
  本稿では、グラフ畳み込みネットワーク(GCN)を用いた人間活動認識(HAR)のための汎用ニューラルアーキテクチャ探索(NAS)アルゴリズムであるAutoGCNを紹介する。 提案アルゴリズムの性能を評価するために,骨格に基づく行動認識に着目した2つの大規模データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-02-02T11:07:27Z)
• Genetically Modified Wolf Optimization with Stochastic Gradient Descent for Optimising Deep Neural Networks [0.0]
  本研究の目的は、人口ベースメタヒューリスティックアルゴリズムを用いて、ニューラルネットワーク(NN)重み付けを最適化するための代替アプローチを分析することである。 Grey Wolf (GWO) と Genetic Modified Algorithms (GA) のハイブリッドをグラディエント・Descent (SGD) と組み合わせて検討した。 このアルゴリズムは、高次元性の問題にも対処しながら、エクスプロイトと探索の組み合わせを可能にする。
  論文  参考訳（メタデータ） (2023-01-21T13:22:09Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Permutation Search of Tensor Network Structures via Local Sampling [27.155329364896144]
  本稿では,TN置換探索 (TN-PS) と呼ばれるTN-SSの実用的変種について考察する。 本稿では,TN-PSの問題を解決するために,実用的なアルゴリズムを提案する。 数値計算により,新しいアルゴリズムは,広範囲なベンチマークにおいて,TNの必要モデルサイズを削減できることが示されている。
  論文  参考訳（メタデータ） (2022-06-14T05:12:49Z)
• Self Semi Supervised Neural Architecture Search for Semantic Segmentation [6.488575826304023]
  セグメンテーションの課題に対する自己監督と半教師付き学習に基づくニューラルアーキテクチャ検索戦略を提案する。 このアプローチは、このタスクに最適化されたニューラルネットワークモデルを構築します。 CityscapesとPASCAL VOC 2012データセットの実験では、発見されたニューラルネットワークは最先端の手作りNNモデルよりも効率的であることが示されている。
  論文  参考訳（メタデータ） (2022-01-29T19:49:44Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
  本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。 得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
  論文  参考訳（メタデータ） (2021-04-19T14:43:07Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• A Supervised Learning Algorithm for Multilayer Spiking Neural Networks Based on Temporal Coding Toward Energy-Efficient VLSI Processor Design [2.6872737601772956]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、スパイクの形で情報を処理できる脳にインスパイアされた数学的モデルである。 時間符号化に基づくSNNのための新しい教師付き学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-08T03:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。