論文の概要: Tensor Network for Supervised Learning at Finite Temperature

• arxiv url: http://arxiv.org/abs/2104.05439v1
• Date: Fri, 9 Apr 2021 05:02:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 13:48:34.038301
• Title: Tensor Network for Supervised Learning at Finite Temperature
• Title（参考訳）: 有限温度における教師付き学習のためのテンソルネットワーク
• Authors: Haoxiang Lin, Shuqian Ye, Xi Zhu
• Abstract要約: 有限温度テンソルネットワーク(fttn)は熱摂動を行列積状態フレームワークにインポートする。 FTTNは環境との絡み合いから計算した熱損失とみなしている。 温度のようなパラメータは自動的に最適化され、各データベースに個々の温度を与える。
• 参考スコア（独自算出の注目度）: 1.4717465036484292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The large variation of datasets is a huge barrier for image classification tasks. In this paper, we embraced this observation and introduce the finite temperature tensor network (FTTN), which imports the thermal perturbation into the matrix product states framework by placing all images in an environment with constant temperature, in analog to energy-based learning. Tensor network is chosen since it is the best platform to introduce thermal fluctuation. Different from traditional network structure which directly takes the summation of individual losses as its loss function, FTTN regards it as thermal average loss computed from the entanglement with the environment. The temperature-like parameter can be automatically optimized, which gives each database an individual temperature. FTTN obtains improvement in both test accuracy and convergence speed in several datasets. The non-zero temperature automatically separates similar features, avoiding the wrong classification in previous architecture. The thermal fluctuation may give a better improvement in other frameworks, and we may also implement the temperature of database to improve the training effect.
• Abstract（参考訳）: データセットの大きなバリエーションは、画像分類タスクの大きな障壁である。 本稿では,この観察を取り入れた有限温度テンソルネットワーク(fttn)について紹介する。これはエネルギーベースの学習と同様に,すべての画像を一定温度の環境に配置することで,熱摂動を行列積状態フレームワークにインポートするものである。 テンソルネットワークは熱揺らぎを導入するのに最適なプラットフォームであるため選択される。 個々の損失を損失関数として直接集計する従来のネットワーク構造とは異なり、FTTNはそれを環境との絡み合いから計算した熱平均損失と見なしている。 温度のようなパラメータは自動的に最適化され、各データベースに個別の温度を与える。 FTTNは、複数のデータセットでテスト精度と収束速度の両方を改善する。 非ゼロ温度は、同様の機能を自動的に分離し、以前のアーキテクチャの誤った分類を避ける。 熱ゆらぎは他のフレームワークで改善される可能性があり、トレーニング効果を改善するためにデータベースの温度を実装することもできる。

関連論文リスト

• Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
  モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。 我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
  論文  参考訳（メタデータ） (2024-11-14T18:31:39Z)
• A finite element-based physics-informed operator learning framework for spatiotemporal partial differential equations on arbitrary domains [33.7054351451505]
  偏微分方程式(PDE)によって支配される力学を予測できる新しい有限要素に基づく物理演算子学習フレームワークを提案する。 提案した演算子学習フレームワークは、現在の時間ステップで温度場を入力として、次の時間ステップで温度場を予測する。 ネットワークは、FEM溶液と比較して、任意の初期温度場の時間的変化を高精度に予測することに成功した。
  論文  参考訳（メタデータ） (2024-05-21T02:41:40Z)
• To Cool or not to Cool? Temperature Network Meets Large Foundation Models via DRO [68.69840111477367]
  LFMを改善するために,小型だが一般化可能な温度予測ネットワーク(TempNet)を学習するための基本的枠組みを提案する。 LLMとCLIPモデルに関する我々の実験は、TempNetが既存のソリューションやモデルの性能を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-04-06T09:55:03Z)
• Temperature Balancing, Layer-wise Weight Analysis, and Neural Network Training [58.20089993899729]
  本稿では,直感的で効果的な階層学習手法であるTempBalanceを提案する。 我々は、TempBalanceが通常のSGDと注意深く調整されたスペクトルノルム正規化より著しく優れていることを示す。 また、TempBalanceは最先端のメトリクスやスケジューラよりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T05:38:17Z)
• Small Temperature is All You Need for Differentiable Architecture Search [8.93957397187611]
  微分可能なアーキテクチャサーチ(DARTS)は、高効率な勾配に基づくニューラルアーキテクチャサーチ(NAS)をもたらす そこで本研究では, トレーニングにおける緩和スーパーネットとプルーニングファイナネットとのギャップを, 低温利用による評価で埋めることを提案する。
  論文  参考訳（メタデータ） (2023-06-12T04:01:57Z)
• Not All Semantics are Created Equal: Contrastive Self-supervised Learning with Automatic Temperature Individualization [51.41175648612714]
  分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。 提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。 提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-19T19:25:56Z)
• Fine-tune your Classifier: Finding Correlations With Temperature [2.071516130824992]
  我々は、データセットを表現に計算された統計の集合として記述することで、分類タスクに対する温度の影響を分析する。 これらの抽出された統計値と観測された最適温度との相関について検討した。
  論文  参考訳（メタデータ） (2022-10-18T09:48:46Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)
• Thermal Prediction for Efficient Energy Management of Clouds using Machine Learning [31.735983199708013]
  プライベートクラウドからのデータを分析し、熱的変動の存在を示す。 温度予測のための勾配強化機械学習モデルを提案する。 さらに,ホストのピーク温度を最小化する動的スケジューリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-07T00:55:47Z)
• Critical Phenomena in Complex Networks: from Scale-free to Random Networks [77.34726150561087]
  一対のノード間のリンクを制御する隠れ変数を持つ構成ネットワークモデルにおける臨界現象について検討する。 平均ノード次数、期待するエッジ数、ランダウとヘルムホルツの自由エネルギーについて、温度とノード数の関数として解析式を求める。
  論文  参考訳（メタデータ） (2020-08-05T18:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。