論文の概要: Fisher Information, Training and Bias in Fourier Regression Models

• arxiv url: http://arxiv.org/abs/2510.06945v1
• Date: Wed, 08 Oct 2025 12:29:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.483129
• Title: Fisher Information, Training and Bias in Fourier Regression Models
• Title（参考訳）: フーリエ回帰モデルにおける漁業情報・訓練・バイアス
• Authors: Lorenzo Pastori, Veronika Eyring, Mierk Schwabe,
• Abstract要約: 本研究では,ある課題に対するモデルの効果次元とエンペビアの間の相互作用について検討する。 学習すべき関数に対して完全に非依存的、あるいはバイアスのないモデルでは、より効果的な次元がトレーニング性とパフォーマンスの向上をもたらす可能性が示されている。
• 参考スコア（独自算出の注目度）: 0.05997422707234518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivated by the growing interest in quantum machine learning, in particular quantum neural networks (QNNs), we study how recently introduced evaluation metrics based on the Fisher information matrix (FIM) are effective for predicting their training and prediction performance. We exploit the equivalence between a broad class of QNNs and Fourier models, and study the interplay between the \emph{effective dimension} and the \emph{bias} of a model towards a given task, investigating how these affect the model's training and performance. We show that for a model that is completely agnostic, or unbiased, towards the function to be learned, a higher effective dimension likely results in a better trainability and performance. On the other hand, for models that are biased towards the function to be learned a lower effective dimension is likely beneficial during training. To obtain these results, we derive an analytical expression of the FIM for Fourier models and identify the features controlling a model's effective dimension. This allows us to construct models with tunable effective dimension and bias, and to compare their training. We furthermore introduce a tensor network representation of the considered Fourier models, which could be a tool of independent interest for the analysis of QNN models. Overall, these findings provide an explicit example of the interplay between geometrical properties, model-task alignment and training, which are relevant for the broader machine learning community.
• Abstract（参考訳）: 量子機械学習,特に量子ニューラルネットワーク(QNN)への関心が高まっていることから,最近導入されたFisher InformationMatrix(FIM)に基づく評価指標が,トレーニングと予測性能の予測にいかに有効かを検討した。 本研究では,QNNとフーリエモデルとの等価性を生かし,与えられたタスクに対するモデルの「emph{ Effective dimension}」と「emph{bias}」の相互作用について検討し,モデルのトレーニングと性能に与える影響について検討する。 学習すべき関数に対して完全に非依存的、あるいはバイアスのないモデルでは、より効果的な次元がトレーニング性とパフォーマンスの向上をもたらす可能性が示されている。 一方、学習対象の関数に偏りがあるモデルでは、より効果的な次元が学習中に有益である可能性が高い。 これらの結果を得るために、フーリエモデルのFIMの解析式を導出し、モデルの有効次元を制御する特徴を同定する。 これにより、調整可能な有効次元とバイアスを持つモデルを構築し、トレーニングを比較することができます。 さらに、検討されたフーリエモデルのテンソルネットワーク表現を導入し、QNNモデル解析の独立したツールとなる可能性がある。 全体として、これらの知見は、より広い機械学習コミュニティに関連する幾何学的性質、モデル-タスクアライメント、トレーニングの間の相互作用の明確な例である。

関連論文リスト

• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Exploring Patterns Behind Sports [3.2838877620203935]
  本稿では、ARIMAとLSTMを組み合わせたハイブリッドモデルを用いて、時系列予測のための包括的なフレームワークを提案する。 このモデルには埋め込みやPCAといった機能エンジニアリング技術が組み込まれており、生データを低次元の表現に変換する。
  論文  参考訳（メタデータ） (2025-02-11T11:51:07Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• The Importance of Model Inspection for Better Understanding Performance Characteristics of Graph Neural Networks [15.569758991934934]
  脳形状分類タスクに適用したグラフニューラルネットワークの特徴学習特性に対するモデル選択の影響について検討する。 モデルの異なるレイヤに機能の埋め込みを組み込むことで、かなりの違いが見つかります。
  論文  参考訳（メタデータ） (2024-05-02T13:26:18Z)
• Interpreting and generalizing deep learning in physics-based problems with functional linear models [1.1440052544554358]
  解釈可能性は非常に重要であり、物理システムのモデリングにしばしば望まれる。 固体力学,流体力学,輸送の試験例を報告する。 本研究は,科学機械学習における解釈可能な表現の重要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-07-10T14:01:29Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Tensor networks for unsupervised machine learning [9.897828174118974]
  本稿では,量子多体物理学の行列状態と機械学習の自己回帰モデルを組み合わせたテンソルネットワークモデルであるAutoregressive Matrix Product States(AMPS)を提案する。 提案手法は,既存のテンソルネットワークモデルや制限されたボルツマンマシンよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-24T12:51:00Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Learning Queuing Networks by Recurrent Neural Networks [0.0]
  データから性能モデルを導出する機械学習手法を提案する。 我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。 これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
  論文  参考訳（メタデータ） (2020-02-25T10:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。