論文の概要: Towards a Data-Parameter Correspondence for LLMs: A Preliminary Discussion

• arxiv url: http://arxiv.org/abs/2604.17384v1
• Date: Sun, 19 Apr 2026 11:18:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.496772
• Title: Towards a Data-Parameter Correspondence for LLMs: A Preliminary Discussion
• Title（参考訳）: LLMのデータパラメータ対応に向けて:予備討論
• Authors: Ou Wu,
• Abstract要約: 大規模な言語モデルの最適化は、歴史的に孤立したデータ中心のパラダイムとモデル中心のパラダイムに二分されてきた。 本稿では,同じ幾何学的構造の二重表現として,これらが異なっていたことを明らかにするために,統一的な音声データ-パラメータ対応を確立した。
• 参考スコア（独自算出の注目度）: 10.237445112597095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model optimization has historically bifurcated into isolated data-centric and model-centric paradigms: the former manipulates involved samples through selection, augmentation, or poisoning, while the latter tunes model weights via masking, quantization, or low-rank adaptation. This paper establishes a unified \emph{data-parameter correspondence} revealing these seemingly disparate operations as dual manifestations of the same geometric structure on the statistical manifold $\mathcal{M}$. Grounded in the Fisher-Rao metric $g_{ij}(θ)$ and Legendre duality between natural ($θ$) and expectation ($η$) parameters, we identify three fundamental correspondences spanning the model lifecycle: 1. Geometric correspondence: data pruning and parameter sparsification equivalently reduce manifold volume via dual coordinate constraints; 2. Low-rank correspondence: in-context learning (ICL) and LoRA adaptation explore identical subspaces on the Grassmannian $\mathcal{G}(r,d)$, with $k$-shot samples geometrically equivalent to rank-$r$ updates; 3. Security-privacy correspondence: adversarial attacks exhibit cooperative amplification between data poisoning and parameter backdoors, whereas protective mechanisms follow cascading attenuation where data compression multiplicatively enhances parameter privacy. Extending from training through post-training compression to inference, this framework provides mathematical formalization for cross-community methodology transfer, demonstrating that cooperative optimization integrating data and parameter modalities may outperform isolated approaches across efficiency, robustness, and privacy dimensions.
• Abstract（参考訳）: 大規模な言語モデルの最適化は、歴史的に孤立したデータ中心およびモデル中心のパラダイムに分岐し、前者は選択、増強、中毒を通じてサンプルを操作し、後者はマスキング、量子化、低ランク適応を通じてモデルの重みをチューニングした。 本稿では、統計多様体 $\mathcal{M}$ 上の同じ幾何学構造の双対表現として、これらの異なるように見える操作を明らかにする統一な \emph{data-parameter correspondence を確立する。 Fisher-Rao 計量 $g_{ij}(θ)$ と自然(θ$)と期待(η$)パラメータのレジェンダー双対性から、モデルライフサイクルにまたがる3つの基本的な対応を識別する。 1. 幾何対応:データプルーニング及びパラメータスペーシフィケーションは、二重座標制約による多様体体積を等価に減少させる。 2. 低ランク対応:インコンテキスト学習(ICL)とロラ適応(LoRA)はグラスマン$\mathcal{G}(r,d)$で同じ部分空間を探索し、$k$-shotサンプルはランク=r$更新と幾何的に同等である。 3. セキュリティプライバシ対応: 敵攻撃はデータ中毒とパラメータバックドアの協調的な増幅を示す一方、保護機構はデータ圧縮がパラメータのプライバシーを多元的に強化するカスケード減衰に従う。 トレーニング後の圧縮から推論まで、このフレームワークは、データとパラメータのモダリティを統合する協調最適化が、効率、堅牢性、プライバシーの面で孤立したアプローチより優れていることを実証し、クロスコミュニティ・メソド転送の数学的形式化を提供する。

関連論文リスト

• A Bayesian Framework for Symmetry Inference in Chaotic Attractors [0.0]
  候補部分群の格子上での確率的モデル選択として対称性検出を定式化する枠組みを提案する。 人間の歩行力学への応用は、機械的制約によって引き起こされる対称性の変化を明らかにする。
  論文  参考訳（メタデータ） (2025-10-18T13:49:35Z)
• Dendrograms of Mixing Measures for Softmax-Gated Gaussian Mixture of Experts: Consistency without Model Sweeps [41.371172458797524]
  ゲーティングパラメータの共通翻訳、固有のゲート-エキスパート相互作用、およびタイトな数値-デノミネータ結合までの不特定性に対処する。 モデル選択には, 最適なパラメータ率を得る専門家の数を一貫したスイープフリーセレクタとして, デンドログラム誘導SGMoEを適応させる。 干ばつを識別できるトウモロコシの形質のデータセット上で、私たちのデンドログラム誘導SGMoEは2人の専門家を選別し、明確な混合階層を公開し、確率を早期に安定化し、解釈可能な遺伝子型フェノタイプマップを生成する。
  論文  参考訳（メタデータ） (2025-10-14T17:23:44Z)
• Communication-Efficient and Personalized Federated Foundation Model Fine-Tuning via Tri-Matrix Adaptation [47.82423317739088]
  本稿では, パーソナライズされたモデルパラメータアグリゲーションを用いた三要素化低ランク適応手法である通信効率のフェデレーションLoRA適応(CE-LoRA)を提案する。 各種LLMおよびVLM微調整タスクの実験により、CE-LoRAは通信オーバーヘッドを著しく低減するだけでなく、独立で同一の分散データ条件下での性能も向上することが示された。
  論文  参考訳（メタデータ） (2025-03-31T09:18:42Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Surrogate Assisted Strategies (The Parameterisation of an Infectious Disease Agent-Based Model) [0.0]
  キャリブレーションはエージェントベースのモデリングとシミュレーションにおいて重要な課題である。 我々はパラメータ化戦略を効果的に交換し、モデルをサロゲートできる、より包括的で適応的なABMSフレームワークを提案する。 DYCORS XGBoost と MSRS SVM は実世界の日常感染の累積分布を近似できることを示す。
  論文  参考訳（メタデータ） (2021-08-19T17:27:01Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。