論文の概要: Position: Don't Just "Fix it in Post": A Science of AI Must Study Training Dynamics

• arxiv url: http://arxiv.org/abs/2606.06533v1
• Date: Wed, 03 Jun 2026 17:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.349691
• Title: Position: Don't Just "Fix it in Post": A Science of AI Must Study Training Dynamics
• Title（参考訳）: ポジション:単に「ポストでフィクスする」べきではない:AI学習のトレーニングダイナミクスの科学
• Authors: Stella Biderman, Mohammad Aflah Khan, Niloofar Mireshghallah, Catherine Arnett, Fazl Barez, Naomi Saphra,
• Abstract要約: AIの科学はポストホックな修正を超えて、モデルの振る舞いを生み出すトレーニングダイナミクスを研究する必要がある、と私たちは主張する。 我々は、科学史と哲学に根ざしたそのような理論の要件を明確に述べる。
• 参考スコア（独自算出の注目度）: 33.29688543362749
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: What would it mean to have a scientific understanding of AI? Models are not static objects: they are snapshots of time-evolving processes shaped by data, objectives, architectures, and optimization dynamics. Yet much of AI research treats models as fixed artifacts, analyzing behaviors after training rather than asking why they emerge. This position paper argues that a science of AI must move beyond post-hoc fixes and study the training dynamics that produce model behavior. Such a science should support progressively stronger forms of understanding: predicting outcomes from early training signals, intervening when trajectories go wrong, and ultimately designing training procedures that more reliably produce desired properties. Scaling laws have made prediction routine for loss; the challenge is extending this success to capabilities, biases, robustness, and safety-relevant behaviors. We articulate requirements for such theories grounded in the history and philosophy of science, examine progress in mechanistic interpretability, fairness, memorization, and simplicity bias, and identify concrete open problems.
• Abstract（参考訳）: AIについて科学的に理解することが何を意味するのか? モデルは静的オブジェクトではなく、データ、目的、アーキテクチャ、最適化ダイナミクスによって形成された時間進化プロセスのスナップショットである。 しかし、AI研究の多くは、モデルを固定されたアーティファクトとして扱い、なぜそれらが現れるのかを尋ねるのではなく、トレーニング後の振る舞いを分析する。 このポジションペーパーでは、AIの科学はポストホックな修正を超えて、モデルの振る舞いを生み出すトレーニングダイナミクスを研究する必要があると論じている。 このような科学は、早期の訓練信号の結果を予測すること、軌道が故障した場合に介入すること、そして究極的には、望ましい特性をより確実に生成する訓練手順を設計すること、という、徐々に強力な理解形態を支持するべきである。 障害は、この成功を能力、バイアス、堅牢性、安全関連行動にまで広げることである。 我々は、科学の歴史と哲学に根ざした理論の要件を明確に述べ、機械的解釈可能性、公正性、記憶、単純さのバイアスの進展を調べ、具体的なオープンな問題を特定する。

関連論文リスト

• Forecasting Scientific Progress with Artificial Intelligence [75.02347691513005]
  我々は,AIシステムにおける科学的予測を,実現可能性評価,機械的推論,生成的ソリューション設計,時間的予測を通じて評価する。 4,760件の科学的イベントにおいて,現在のフロンティアモデルにおける体系的および領域依存的制約を観察した。 パフォーマンスはドメイン間で非常に均一であり、AIの進行のタイミングは生物学、化学、物理学の進歩よりも予測可能である。
  論文  参考訳（メタデータ） (2026-05-21T16:23:36Z)
• AI4X Roadmap: Artificial Intelligence for the advancement of scientific pursuit and its future directions [65.44445343399126]
  我々は、生物学、化学、気候科学、数学、材料科学、物理学、自動運転研究所、非伝統的コンピューティングにまたがるAI可能な科学を考察する。 多様な信頼性のあるデータの必要性、伝達可能な電子構造と原子間モデル、AIシステムがエンドツーエンドの科学合成に統合される。 ドメイン全体にわたって、大規模な基礎モデル、アクティブラーニング、自動運転車研究所が、予測と検証の間のループを閉じる方法について強調する。
  論文  参考訳（メタデータ） (2025-11-26T02:10:28Z)
• Aligning Perception, Reasoning, Modeling and Interaction: A Survey on Physical AI [57.44526951497041]
  我々は、物理的原則と具体的推論プロセスの両方において、学習の基礎となるインテリジェントなシステムを提唱する。 我々は、物理現象を説明でき、将来の状態を予測できる次世代の世界モデルを構想する。
  論文  参考訳（メタデータ） (2025-10-06T16:16:03Z)
• Epistemic Artificial Intelligence is Essential for Machine Learning Models to Truly 'Know When They Do Not Know' [10.098470725619384]
  AIの素晴らしい成果にもかかわらず、不確実性を扱うAIシステムの能力には大きなギャップがある。 従来の機械学習アプローチは、データ適合性の過大評価のため、この問題に対処するのに苦労している。 このポジションペーパーは、認識論的人工知能へのパラダイムシフトを示し、モデルが知っていることから学ぶ必要性を強調している。
  論文  参考訳（メタデータ） (2025-05-08T05:10:38Z)
• Emergent Abilities in Large Language Models: A Survey [9.50669909278749]
  大規模言語モデル(LLM)は、人工知能への最も有望な研究の流れの1つとして、新しい技術革命を導いている。 これらのモデルのスケーリングは、以前は観測されていなかった様々な創発的能力と関連付けられている。 これらの能力は、高度な推論やコンテキスト内学習からコーディングや問題解決まで多岐にわたる。 トランスフォーメーションの可能性にもかかわらず、創発的能力は未理解のままであり、定義、性質、予測可能性、含意について誤解を招く。
  論文  参考訳（メタデータ） (2025-02-28T01:20:01Z)
• Probabilistic Artificial Intelligence [42.59649764999974]
  インテリジェンスの主な側面は、予測を行うだけでなく、これらの予測の不確実性について推論し、決定を行うときにこの不確実性を考慮することである。 データ不足による「緊急的」不確実性と「アラート的」不確実性との区別について論じる。
  論文  参考訳（メタデータ） (2025-02-07T14:29:07Z)
• Aligning AI-driven discovery with human intuition [6.229216953398305]
  AI駆動の科学モデリングプロセスは、一般的に隠れた状態変数を特定することから始まる。 有意な予測変数のコンパクトな集合を見つけることは数学的に困難であり、定義されていない。 人間の直感と自然に整合した表現を蒸留するための新しい一般原理を提案する。
  論文  参考訳（メタデータ） (2024-10-09T19:52:59Z)
• Generative Models as a Complex Systems Science: How can we make sense of large language model behavior? [75.79305790453654]
  事前訓練されたモデルから望ましい振る舞いを排除し、望ましくないモデルを避けながら、NLPを再定義した。 言語モデルの振る舞いをタスク間性能を説明するカテゴリに分解する体系的な取り組みについて論じる。
  論文  参考訳（メタデータ） (2023-07-31T22:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。