論文の概要: Generalization vs. Memorization in Autoregressive Deep Learning: Or, Examining Temporal Decay of Gradient Coherence

• arxiv url: http://arxiv.org/abs/2509.00024v1
• Date: Mon, 18 Aug 2025 20:29:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-07 09:10:15.247137
• Title: Generalization vs. Memorization in Autoregressive Deep Learning: Or, Examining Temporal Decay of Gradient Coherence
• Title（参考訳）: 自己回帰的深層学習における一般化と覚書化 : あるいは、勾配コヒーレンスの時間的減少について
• Authors: James Amarel, Nicolas Hengartner, Robyn Miller, Kamaljeet Singh, Siddharth Mansingh, Arvind Mohan, Benjamin Migliori, Emily Casleton, Alexei Skurikhin, Earl Lawrence, Gerd J. Kunde,
• Abstract要約: 本研究では, 自己回帰型PDEが, 多様な物理シナリオから得られる情報を同化・伝播する様子を特徴付けるために, 影響関数形式を適用した。 改良されたサロゲートの設計に関する実用的な洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.1286280695561924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models trained as autoregressive PDE surrogates hold significant promise for accelerating scientific discovery through their capacity to both extrapolate beyond training regimes and efficiently adapt to downstream tasks despite a paucity of examples for fine-tuning. However, reliably achieving genuine generalization - a necessary capability for producing novel scientific insights and robustly performing during deployment - remains a critical challenge. Establishing whether or not these requirements are met demands evaluation metrics capable of clearly distinguishing genuine model generalization from mere memorization. We apply the influence function formalism to systematically characterize how autoregressive PDE surrogates assimilate and propagate information derived from diverse physical scenarios, revealing fundamental limitations of standard models and training routines in addition to providing actionable insights regarding the design of improved surrogates.
• Abstract（参考訳）: 自己回帰的PDEサロゲートとして訓練された基礎モデルは、訓練体制を超えて科学的な発見を加速し、微調整の例が多々あるにもかかわらず、下流のタスクに効率的に適応する能力を通じて、科学的な発見を促進するという大きな約束を持っている。 しかし、真の一般化を確実に達成すること — 新たな科学的洞察を生み出し、デプロイメント中に堅牢に機能するために必要な能力 — は、依然として重要な課題である。 これらの要件が満たされているかどうかを確立することで、真のモデルの一般化と単なる暗記とを明確に区別できる要求評価指標を確立する。 本稿では, 自己回帰型PDEが, 様々な物理シナリオから得られる情報を同化・伝播させる方法の体系的特徴付けとして, 標準モデルとトレーニングルーチンの基本的制約を明らかにするとともに, 改良されたサロゲートの設計に関する実用的な洞察を提供する。

関連論文リスト

• Preference Learning for AI Alignment: a Causal Perspective [55.2480439325792]
  私たちはこの問題を因果パラダイムに枠組み化し、永続的な課題を特定するための因果関係の豊富なツールボックスを提供します。 因果推論の文献を継承し、信頼性の高い一般化に必要な重要な仮定を特定する。 そこで本研究では, 因果関係に基づくアプローチがモデルロバスト性をいかに改善するかを, ナイーブ報酬モデルの障害モードを例示する。
  論文  参考訳（メタデータ） (2025-06-06T10:45:42Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• On the Generalization of Preference Learning with DPO [17.420727709895736]
  大きな言語モデル(LLM)は目覚ましい能力を示してきたが、しばしば人間の好みに合わせるのに苦労している。 嗜好学習は、人間のフィードバックに基づいて、好ましくない反応と好ましくない反応を区別するモデルを訓練する。 本稿では、直接選好最適化(DPO)で訓練されたモデルの一般化保証を解析するための新しい理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-08-06T22:11:00Z)
• Progress or Regress? Self-Improvement Reversal in Post-training [26.051637877066327]
  本稿では,自己改善のためのポストトレーニングパラダイムの根底にある拡張を精査する包括的評価フレームワークを提案する。 ベンチマークで改善されたパフォーマンスを示すモデルは、パラドックス的により広範で必須の能力の低下を示す。 これらの結果から, ポストトレーニングによる現在の自己改善実践は, より複雑な問題に対処するためのモデルの装備に不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-06T09:07:11Z)
• X-SHIELD: Regularization for eXplainable Artificial Intelligence [9.658282892513386]
  XAIは、その説明可能性を高めながら、モデルパフォーマンスを改善するために使用することができる。 このファミリー内では、説明可能な人工知能の正規化であるXAI-ShiELD(X-SHIELD)を提案する。 この改善は、X-SHIELD正則化の有無とモデルの比較実験によって検証される。
  論文  参考訳（メタデータ） (2024-04-03T09:56:38Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。