Fugu-MT 論文翻訳(概要): Rethinking LLM Training through Information Geometry and Quantum Metrics

論文の概要: Rethinking LLM Training through Information Geometry and Quantum Metrics

arxiv url: http://arxiv.org/abs/2506.15830v1
Date: Wed, 18 Jun 2025 19:17:47 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-23 19:00:04.818285
Title: Rethinking LLM Training through Information Geometry and Quantum Metrics
Title（参考訳）: 情報幾何学と量子メトリクスによるLLMトレーニングの再考
Authors: Riccardo Di Sipio,
Abstract要約: 情報幾何学はこの風景をフィッシャー情報計量を用いて表している。曲率認識アプローチは大きな言語モデルに対する理解を深める。我々は、フビニ・スタディ計量と量子フィッシャー情報に基づく量子類似性について推測する。
参考スコア（独自算出の注目度）: 0.8702432681310401
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Optimization in large language models (LLMs) unfolds over high-dimensional parameter spaces with non-Euclidean structure. Information geometry frames this landscape using the Fisher information metric, enabling more principled learning via natural gradient descent. Though often impractical, this geometric lens clarifies phenomena such as sharp minima, generalization, and observed scaling laws. We argue that curvature-aware approaches deepen our understanding of LLM training. Finally, we speculate on quantum analogies based on the Fubini-Study metric and Quantum Fisher Information, hinting at efficient optimization in quantum-enhanced systems.
Abstract（参考訳）: 大規模言語モデル(LLM)の最適化は、非ユークリッド構造を持つ高次元パラメータ空間に展開する。情報幾何学はこの風景をフィッシャー情報計量を用いて表現し、自然勾配降下によるより原理的な学習を可能にする。しばしば実用的ではないが、この幾何学レンズはシャープなミニマ、一般化、観察されたスケーリング法則などの現象を明らかにする。我々は、曲率認識アプローチがLLMトレーニングの理解を深めると主張している。最後に、フビニ・スタディ計量と量子フィッシャー情報に基づいて量子類似性を推測し、量子強化システムにおける効率的な最適化を示唆する。

関連論文リスト

Quantum Fisher information from tensor network integration of Lyapunov equation [0.7499722271664147]
量子フィッシャー情報(Quantum Fisher Information)は、量子状態のアンサンブルをパラメータ化する軌道に沿って計算された状態変形の尺度である。我々は、対称対数微分とテンソルネットワークの概念を組み合わせたリアプノフ積分に基づく新しい数値的アプローチを導入する。このアプローチは、時間進化のための基本行列積状態アルゴリズムのみを必要とし、幅広い用途と多体システムへの応用の視点を開く。
論文参考訳（メタデータ） (2025-06-12T22:01:31Z)
QubitLens: An Interactive Learning Tool for Quantum State Tomography [5.823436226004177]
量子状態トモグラフィーは量子コンピューティングの基本的な課題であり、測定結果から未知の量子状態の再構成を含む。量子状態トモグラフィーをよりアクセシブルで直感的にするためのインタラクティブな可視化ツールQubitLensを紹介した。
論文参考訳（メタデータ） (2025-05-12T20:48:47Z)
A Geometric-Aware Perspective and Beyond: Hybrid Quantum-Classical Machine Learning Methods [0.0]
Geometric Machine Learning (GML) は、データ空間における非ユークリッド幾何学の尊重は、単純ユークリッド仮定よりも性能を著しく向上させることを示した。量子機械学習(QML)は、タスク学習のために量子状態多様体内の重ね合わせ、絡み合い、干渉を利用する有望なパラダイムとして登場した。本稿では、QMLをGMLの専門的かつより表現力のあるブランチとしてキャストすることで、統一的な視点を提供する。
論文参考訳（メタデータ） (2025-04-08T13:24:55Z)
Quantum Natural Stochastic Pairwise Coordinate Descent [13.986982036653632]
勾配に基づく方法で最適化された変分量子アルゴリズムは、しばしば準最適収束性能を示す。量子自然勾配降下(QNGD)は、量子情報計量によって状態空間の幾何学を組み込むより効率的な方法である。我々は、新しい量子情報計量を定式化し、この計量の偏りのない推定器を単発測定を用いて構築する。
論文参考訳（メタデータ） (2024-07-18T18:57:29Z)
Quantum Network Tomography via Learning Isometries on Stiefel Manifold [7.796175259362575]
本稿では,Stiefel多様体上のアイソメトリーを学習し,量子ネットワークトモグラフィーの効率的な手法を提案する。その結果,提案手法は精度と効率性が高いことがわかった。
論文参考訳（メタデータ） (2024-04-10T13:05:39Z)
Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文参考訳（メタデータ） (2024-02-26T05:51:47Z)
Optical Quantum Sensing for Agnostic Environments via Deep Learning [59.088205627308]
本稿では,革新的な深層学習に基づく量子センシング手法を提案する。これにより、光学量子センサーは、非依存環境でハイゼンベルク限界(HL)に達することができる。我々の発見は、光学量子センシングタスクを加速する新しいレンズを提供する。
論文参考訳（メタデータ） (2023-11-13T09:46:05Z)
ShadowNet for Data-Centric Quantum System Learning [188.683909185536]
本稿では,ニューラルネットワークプロトコルと古典的シャドウの強みを組み合わせたデータ中心学習パラダイムを提案する。ニューラルネットワークの一般化力に基づいて、このパラダイムはオフラインでトレーニングされ、これまで目に見えないシステムを予測できる。量子状態トモグラフィーおよび直接忠実度推定タスクにおいて、我々のパラダイムのインスタンス化を示し、60量子ビットまでの数値解析を行う。
論文参考訳（メタデータ） (2023-08-22T09:11:53Z)
PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification [64.61198351207752]
ビデオからのシステム同定(オブジェクトの物理的パラメータを推定する)への既存のアプローチは、既知のオブジェクトジオメトリを仮定する。本研究では,オブジェクトの形状やトポロジを仮定することなく,多視点ビデオの集合から物理系を特徴付けるパラメータを同定することを目的とする。マルチビュービデオから高ダイナミックな物体の未知の幾何学的パラメータと物理的パラメータを推定するために,Physics Augmented Continuum Neural Radiance Fields (PAC-NeRF)を提案する。
論文参考訳（メタデータ） (2023-03-09T18:59:50Z)
Quantum simulation of gauge theory via orbifold lattice [47.28069960496992]
普遍量子コンピュータ上で$textU(k)$ Yang-Mills理論をシミュレートするための新しいフレームワークを提案する。本稿では,ヤン・ミルズ理論の静的特性と実時間ダイナミクスの計算への応用について論じる。
論文参考訳（メタデータ） (2020-11-12T18:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。