論文の概要: Information plane and compression-gnostic feedback in quantum machine learning

• arxiv url: http://arxiv.org/abs/2411.02313v1
• Date: Mon, 04 Nov 2024 17:38:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:49:44.610008
• Title: Information plane and compression-gnostic feedback in quantum machine learning
• Title（参考訳）: 量子機械学習における情報平面と圧縮非依存フィードバック
• Authors: Nathan Haboury, Mo Kordzanganeh, Alexey Melnikov, Pavel Sekatski,
• Abstract要約: ニューラルネットワークの学習力学を研究するための解析ツールとして,情報平面が提案されている。 モデルが入力データをどれだけ圧縮するかについての知見を学習アルゴリズムの改善に利用することができるかを検討する。 本稿では,変分量子回路を用いたいくつかの分類および回帰タスクについて,提案した学習アルゴリズムをベンチマークする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The information plane (Tishby et al. arXiv:physics/0004057, Shwartz-Ziv et al. arXiv:1703.00810) has been proposed as an analytical tool for studying the learning dynamics of neural networks. It provides quantitative insight on how the model approaches the learned state by approximating a minimal sufficient statistics. In this paper we extend this tool to the domain of quantum learning models. In a second step, we study how the insight on how much the model compresses the input data (provided by the information plane) can be used to improve a learning algorithm. Specifically, we consider two ways to do so: via a multiplicative regularization of the loss function, or with a compression-gnostic scheduler of the learning rate (for algorithms based on gradient descent). Both ways turn out to be equivalent in our implementation. Finally, we benchmark the proposed learning algorithms on several classification and regression tasks using variational quantum circuits. The results demonstrate an improvement in test accuracy and convergence speed for both synthetic and real-world datasets. Additionally, with one example we analyzed the impact of the proposed modifications on the performances of neural networks in a classification task.
• Abstract（参考訳）: 情報プレーン(Tishby et al arXiv:physics/0004057, Shwartz-Ziv et al arXiv:1703.00810)は、ニューラルネットワークの学習力学を研究するための解析ツールとして提案されている。 最小限の統計量を近似することにより、モデルが学習状態にどのようにアプローチするかを定量的に把握する。 本稿では,このツールを量子学習モデルの領域に拡張する。 第2のステップでは、学習アルゴリズムを改善するために、モデルが入力データ(情報平面によって提供される)をどの程度圧縮するかについての洞察を利用できるかを検討する。 具体的には、損失関数の乗法正規化、あるいは学習率の圧縮非依存スケジューラ(勾配勾配に基づくアルゴリズム)による2つの方法を検討する。 どちらの方法も私たちの実装で同等であることが分かりました。 最後に,変分量子回路を用いたいくつかの分類および回帰タスクについて,提案した学習アルゴリズムをベンチマークする。 その結果、合成データセットと実世界のデータセットの両方において、テスト精度と収束速度の改善が示された。 さらに、ある例では、分類タスクにおけるニューラルネットワークの性能に対する修正提案の影響を分析した。

関連論文リスト

• The Persian Rug: solving toy models of superposition using large-scale symmetries [0.0]
  入力次元が大きければ最小限の非線形スパースデータオートエンコーダによって学習されたアルゴリズムの完全なメカニスティック記述を示す。 我々の研究は、オートエンコーダの構造を理解する技術を導入することによって、ニューラルネットワークの解釈可能性に貢献している。
  論文  参考訳（メタデータ） (2024-10-15T22:52:45Z)
• Hypothesis Testing and Machine Learning: Interpreting Variable Effects in Deep Artificial Neural Networks using Cohen's f2 [0.0]
  深層人工ニューラルネットワークは多くの分野において高い予測性能を示す。 しかし、統計的推測をする余裕はなく、ブラックボックスの操作は人間が理解するには複雑すぎる。 本稿では、現在のXAI手法を拡張し、機械学習のためのモデルに依存しない仮説テストフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-02-02T20:43:37Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• A didactic approach to quantum machine learning with a single qubit [68.8204255655161]
  我々は、データ再ロード技術を用いて、単一のキュービットで学習するケースに焦点を当てる。 我々は、Qiskit量子コンピューティングSDKを用いて、おもちゃと現実世界のデータセットに異なる定式化を実装した。
  論文  参考訳（メタデータ） (2022-11-23T18:25:32Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Learning Dynamics from Noisy Measurements using Deep Learning with a Runge-Kutta Constraint [9.36739413306697]
  そこで本研究では,雑音と疎サンプルを用いた微分方程式の学習手法について論じる。 我々の方法論では、ディープニューラルネットワークと古典的な数値積分法の統合において、大きな革新が見られる。
  論文  参考訳（メタデータ） (2021-09-23T15:43:45Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)
• The data-driven physical-based equations discovery using evolutionary approach [77.34726150561087]
  与えられた観測データから数学的方程式を発見するアルゴリズムについて述べる。 このアルゴリズムは遺伝的プログラミングとスパース回帰を組み合わせたものである。 解析方程式の発見や偏微分方程式(PDE)の発見にも用いられる。
  論文  参考訳（メタデータ） (2020-04-03T17:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。