論文の概要: Neuroplasticity and Corruption in Model Mechanisms: A Case Study Of Indirect Object Identification

• arxiv url: http://arxiv.org/abs/2503.01896v1
• Date: Thu, 27 Feb 2025 23:44:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:47.054808
• Title: Neuroplasticity and Corruption in Model Mechanisms: A Case Study Of Indirect Object Identification
• Title（参考訳）: モデル機構における神経可塑性と破壊 : 間接的物体同定を事例として
• Authors: Vishnu Kabir Chhabra, Ding Zhu, Mohammad Mahdi Khalili,
• Abstract要約: 下位のメカニズムはタスク固有の微調整によって増幅される。 有害な微調整によるモデル劣化は、特定の回路成分に局所化される。 モデルは、クリーンデータセット上で破損したモデルをトレーニングする際に神経可塑性を示す。
• 参考スコア（独自算出の注目度）: 6.882042556551613
• License:
• Abstract: Previous research has shown that fine-tuning language models on general tasks enhance their underlying mechanisms. However, the impact of fine-tuning on poisoned data and the resulting changes in these mechanisms are poorly understood. This study investigates the changes in a model's mechanisms during toxic fine-tuning and identifies the primary corruption mechanisms. We also analyze the changes after retraining a corrupted model on the original dataset and observe neuroplasticity behaviors, where the model relearns original mechanisms after fine-tuning the corrupted model. Our findings indicate that: (i) Underlying mechanisms are amplified across task-specific fine-tuning which can be generalized to longer epochs, (ii) Model corruption via toxic fine-tuning is localized to specific circuit components, (iii) Models exhibit neuroplasticity when retraining corrupted models on clean dataset, reforming the original model mechanisms.
• Abstract（参考訳）: 従来の研究では、一般的なタスクにおける微調整言語モデルは、その基盤となるメカニズムを強化することが示されている。 しかし、微調整が有毒データに与える影響と、その結果のメカニズムの変化は理解されていない。 本研究では, 毒性微調整におけるモデル機構の変化について検討し, 一次汚濁機構の同定を行った。 また, 損傷したモデルの再トレーニング後の変化を分析し, 損傷したモデルを微調整した後, モデルが元のメカニズムを再生する神経可塑性挙動を観察する。 私たちの発見は以下のとおりである。 (i)タスク固有の微調整において、より長いエポックに一般化可能なメカニズムを増幅する。 二 有害な微調整によるモデル破損を特定回路部品に局所化する。 3 モデルは、破損したモデルをクリーンデータセット上で再訓練する際に神経可塑性を示し、元のモデル機構を再構築する。

関連論文リスト

• Generative Intervention Models for Causal Perturbation Modeling [80.72074987374141]
  多くの応用において、システムのメカニズムが外部の摂動によって変更されるかは未定である。 本稿では、これらの摂動特徴を原子間干渉による分布にマッピングする方法を学習する生成的介入モデル(GIM)を提案する。
  論文  参考訳（メタデータ） (2024-11-21T10:37:57Z)
• Beyond Major Product Prediction: Reproducing Reaction Mechanisms with Machine Learning Models Trained on a Large-Scale Mechanistic Dataset [10.968137261042715]
  有機反応の機械的理解は、反応の発生、不純物予測、そして原則として反応発見を促進する。 いくつかの機械学習モデルは、反応生成物を予測するタスクに対処しようとしているが、反応機構を予測するための拡張は、対応する力学データセットの欠如によって妨げられている。 実験によって報告された反応物質と生成物の中間体を専門家の反応テンプレートを用いて入力し、その結果の5,184,184個の基本ステップに基づいて機械学習モデルを訓練することにより、そのようなデータセットを構築する。
  論文  参考訳（メタデータ） (2024-03-07T15:26:23Z)
• Fine-Tuning Enhances Existing Mechanisms: A Case Study on Entity Tracking [53.66999416757543]
  本研究では,微調整が言語モデルに実装された内部メカニズムに与える影響について検討する。 微調整はモデルの機械的操作を変えるのではなく、強化する。
  論文  参考訳（メタデータ） (2024-02-22T18:59:24Z)
• Enhancing Dynamical System Modeling through Interpretable Machine Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
  本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。 実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
  論文  参考訳（メタデータ） (2024-01-16T14:58:21Z)
• Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes [72.13373216644021]
  本研究では,機械学習の社会的影響を,特定の文脈に展開されるモデルの集合を考慮し検討する。 デプロイされた機械学習はシステム障害を起こしやすいため、利用可能なすべてのモデルに排他的に誤分類されているユーザもいます。 これらの例は、エコシステムレベルの分析が、機械学習の社会的影響を特徴づける独自の強みを持っていることを示している。
  論文  参考訳（メタデータ） (2023-07-12T01:11:52Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Structured learning of rigid-body dynamics: A survey and unified view from a robotics perspective [5.597839822252915]
  剛体力学とデータ駆動モデリング技術を組み合わせた回帰モデルについて検討した。 我々は、ニューラルネットワークやガウス過程などのデータ駆動回帰モデルと分析モデル先行モデルの組み合わせに関する統一的な見解を提供する。
  論文  参考訳（メタデータ） (2020-12-11T11:26:48Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。