論文の概要: From Model Training to Model Raising

• arxiv url: http://arxiv.org/abs/2511.09287v2
• Date: Mon, 17 Nov 2025 08:02:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:22.381967
• Title: From Model Training to Model Raising
• Title（参考訳）: モデルトレーニングからモデルレイジングへ
• Authors: Roland Aydin, Christian Cyron, Steve Bachelor, Ashton Anderson, Robert West,
• Abstract要約: 現在のAIトレーニングメソッドは、コア機能を確立した後のみ、モデルと人間の価値を調整します。 モデル・トレーニング」から「モデル・ライジング」へのパラダイムシフトを提案する。 このパラダイムでは,トレーニングコーパスの再設計を中心に,いくつかの重要なコンポーネントを特定します。
• 参考スコア（独自算出の注目度）: 11.95482752072091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current AI training methods align models with human values only after their core capabilities have been established, resulting in models that are easily misaligned and lack deep-rooted value systems. We propose a paradigm shift from "model training" to "model raising", in which alignment is woven into a model's development from the start. We identify several key components for this paradigm, all centered around redesigning the training corpus: reframing training data from a first-person perspective, recontextualizing information as lived experience, simulating social interactions, and scaffolding the ordering of training data. We expect that this redesign of the training corpus will lead to an early commitment to values from the first training token onward, such that knowledge, skills, and values are intrinsically much harder to separate. In an ecosystem in which large language model capabilities start overtaking human capabilities in many tasks, this seems to us like a critical need.
• Abstract（参考訳）: 現在のAIトレーニング方法は、コア機能を確立した後にのみ、モデルと人間の価値を一致させる。 モデルトレーニング」から「モデルライジング」へのパラダイムシフトを提案し、アライメントを最初からモデルの開発に織り込む。 このパラダイムの重要な要素は,トレーニングコーパスの再設計を中心に,個人的視点からトレーニングデータをリフレーミングすること,生きた経験として情報を再テクスチュアライズすること,社会的相互作用をシミュレートすること,トレーニングデータの発注を足場化すること,などである。 トレーニングコーパスの再設計は、知識、スキル、価値が本質的に分離しにくくなるような、最初のトレーニングトークンから価値への早期のコミットメントにつながると期待しています。 多くのタスクにおいて、大きな言語モデル機能が人間の能力を追い越すエコシステムでは、これは重要なニーズのようです。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Dive into Big Model Training [6.809653573125388]
  トレーニングの目的は、Webスケールのデータを活用して、非常に有能で信じられないほど大きなモデルを開発する方法を説明する。 分散トレーニングに基づくトレーニング手法は、大規模なモデルトレーニングを現実にする方法を説明する。
  論文  参考訳（メタデータ） (2022-07-25T05:38:39Z)
• Incremental Learning for Personalized Recommender Systems [8.020546404087922]
  トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。 このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
  論文  参考訳（メタデータ） (2021-08-13T04:21:21Z)
• Efficient Learning of Model Weights via Changing Features During Training [0.0]
  学習中の特徴を動的に変化させる機械学習モデルを提案する。 私たちの主な動機は、トレーニングプロセス中に小さなコンテンツでモデルを更新し、より説明力の少ない機能を大きなプールから新しいものに置き換えることです。
  論文  参考訳（メタデータ） (2020-02-21T12:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。