論文の概要: Knowledge Adaptation as Posterior Correction

• arxiv url: http://arxiv.org/abs/2506.14262v1
• Date: Tue, 17 Jun 2025 07:22:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.377776
• Title: Knowledge Adaptation as Posterior Correction
• Title（参考訳）: 後部矯正としての知識適応
• Authors: Mohammad Emtiyaz Khan,
• Abstract要約: これらの適応法は全て、近似後部を補正する異なる方法と見なせることを示す。 より正確な後部修正は、より小さな修正につながり、その結果、より高速な適応がもたらされる。 機械が迅速に適応することを学ぶための自然なメカニズムとして,後部矯正の使用を実証する例を多数提示する。
• 参考スコア（独自算出の注目度）: 16.706857741307363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptation is the holy grail of intelligence, but even the best AI models (like GPT) lack the adaptivity of toddlers. So the question remains: how can machines adapt quickly? Despite a lot of progress on model adaptation to facilitate continual and federated learning, as well as model merging, editing, unlearning, etc., little is known about the mechanisms by which machines can naturally learn to adapt in a similar way as humans and animals. Here, we show that all such adaptation methods can be seen as different ways of `correcting' the approximate posteriors. More accurate posteriors lead to smaller corrections, which in turn imply quicker adaptation. The result is obtained by using a dual-perspective of the Bayesian Learning Rule of Khan and Rue (2023) where interference created during adaptation is characterized by the natural-gradient mismatch over the past data. We present many examples to demonstrate the use of posterior-correction as a natural mechanism for the machines to learn to adapt quickly.
• Abstract（参考訳）: 適応は知性の聖杯ですが、最高のAIモデル(GPTなど)でさえ幼児の適応性に欠けています。 マシンはどうやって迅速に適応できるのか? 連続的および連合的な学習を促進するためのモデル適応の進歩や、モデルマージ、編集、未学習などにもかかわらず、機械が人間や動物と同様の方法で自然に適応することを学べるメカニズムについてはほとんど知られていない。 ここでは、これらの適応手法はすべて、近似した後方の「修正」の異なる方法として見ることができることを示す。 より正確な後部修正は、より小さな修正につながり、その結果、より高速な適応がもたらされる。 その結果、適応時に生じる干渉が過去のデータに対する自然な漸進的なミスマッチによって特徴づけられる、カーン・ルーのベイズ学習規則(2023)の二重パースペクティブを用いて得られる。 機械が迅速に適応することを学ぶための自然なメカニズムとして,後部矯正の使用を実証する例を多数提示する。

関連論文リスト

• Decoupling Representation and Learning in Genetic Programming: the LaSER Approach [0.0]
  生涯学習から表現進化を分離するフレームワークであるLaSERを提案する。 LaSER が標準 GP と GP を上回り、線形回帰が続くことを示す。 表現と適応の役割を分離することで、LaSERは象徴的回帰と分類の原則と枠組みを提供する。
  論文  参考訳（メタデータ） (2025-05-22T21:59:38Z)
• Evolving choice hysteresis in reinforcement learning: comparing the adaptive value of positivity bias and gradual perseveration [0.0]
  多くの状況において, 肯定バイアスは進化的安定であり, 漸進的摂動の出現は体系的でなく, 頑健であることを示す。 以上の結果から, 環境特異的な方法で, バイアスが適応し, 進化によって選択できることが示唆された。
  論文  参考訳（メタデータ） (2024-10-25T09:47:31Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• State, global and local parameter estimation using local ensemble Kalman filters: applications to online machine learning of chaotic dynamics [0.0]
  より系統的に、共分散ローカライゼーションまたは局所領域を持つ局所アンサンブルカルマンフィルタを使用する可能性について検討する。 グローバルパラメータは代理ダイナミクスを表すことを意図しており、局所パラメータはモデルの強制力を表すのが一般的である。 本稿ではより一般的に,グローバルモデルパラメータとローカルモデルパラメータの両方をオンラインで推定する上で重要な課題について論じる。
  論文  参考訳（メタデータ） (2021-07-23T14:12:20Z)
• A comparison of combined data assimilation and machine learning methods for offline and online model error correction [0.0]
  機械学習手法とデータ同化を併用して動的システムを再構築することは可能であることを示す。 同じアプローチは、知識ベースのモデルのエラーを修正するために使用することができる。 傾向補正がオンラインモデル誤り訂正の可能性を開放することを示す。
  論文  参考訳（メタデータ） (2021-07-23T09:57:45Z)
• Knowledge-Adaptation Priors [24.0459093025458]
  人間や動物は自然に環境に適応する能力を持っているが、機械学習モデルは変化を受けると、スクラッチから完全に再訓練する必要があることが多い。 我々は,多種多様なタスクやモデルに対して,迅速かつ正確な適応を可能にすることにより,再訓練のコストを削減するために,知識適応事前(K-priors)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T13:27:22Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• An Analysis of the Adaptation Speed of Causal Models [80.77896315374747]
  最近、Bengioらは、すべての候補モデルの中で、$G$は、あるデータセットから別のデータセットに適応する最速のモデルであると推測した。 最適化からの収束率を用いた原因影響SCMの適応速度について検討する。 驚くべきことに、私たちは反因果モデルが有利である状況を見つけ、初期仮説を偽造する。
  論文  参考訳（メタデータ） (2020-05-18T23:48:56Z)
• Never Stop Learning: The Effectiveness of Fine-Tuning in Robotic Reinforcement Learning [109.77163932886413]
  本稿では,ロボットによるロボット操作ポリシーを,政治以外の強化学習を通じて微調整することで,新たなバリエーションに適応する方法を示す。 この適応は、タスクをゼロから学習するために必要なデータの0.2%未満を使用する。 事前訓練されたポリシーを適用するという私たちのアプローチは、微調整の過程で大きなパフォーマンス向上につながります。
  論文  参考訳（メタデータ） (2020-04-21T17:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。