論文の概要: "Why" Has the Least Side Effect on Model Editing

• arxiv url: http://arxiv.org/abs/2409.18679v1
• Date: Fri, 27 Sep 2024 12:05:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 16:10:18.741854
• Title: "Why" Has the Least Side Effect on Model Editing
• Title（参考訳）: モデル編集に「なぜ」が悪影響を及ぼすのか
• Authors: Tsung-Hsuan Pan, Chung-Chi Chen, Hen-Hsen Huang, Hsin-Hsi Chen,
• Abstract要約: 本稿では,モデル編集質問の分類による重要な因子探索型について検討する。 その結果, 性能劣化の程度は, 質問の種類によって大きく異なることがわかった。 また,バッチサイズが副作用に与える影響についても検討し,バッチサイズの増加が性能低下を軽減することを発見した。
• 参考スコア（独自算出の注目度）: 25.67779910446609
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training large language models (LLMs) from scratch is an expensive endeavor, particularly as world knowledge continually evolves. To maintain relevance and accuracy of LLMs, model editing has emerged as a pivotal research area. While these methods hold promise, they can also produce unintended side effects. Their underlying factors and causes remain largely unexplored. This paper delves into a critical factor-question type-by categorizing model editing questions. Our findings reveal that the extent of performance degradation varies significantly across different question types, providing new insights for experimental design in knowledge editing. Furthermore, we investigate whether insights from smaller models can be extrapolated to larger models. Our results indicate discrepancies in findings between models of different sizes, suggesting that insights from smaller models may not necessarily apply to larger models. Additionally, we examine the impact of batch size on side effects, discovering that increasing the batch size can mitigate performance drops.
• Abstract（参考訳）: 大規模な言語モデル(LLM)をゼロからトレーニングすることは、特に世界の知識が継続的に進化するにつれて、高価な取り組みである。 LLMの妥当性と精度を維持するために,モデル編集が重要な研究領域として登場した。 これらの方法は有望であるが、意図しない副作用を生じることもある。 その根底にある要因や原因は未解明のままである。 本稿では,モデル編集質問の分類による重要な因子探索型について検討する。 本研究は,知識編集における実験設計のための新たな知見を提供するため,様々な質問タイプにおいて,性能劣化の程度が著しく異なることを明らかにした。 さらに、より小さなモデルからの洞察がより大きなモデルに外挿できるかどうかについても検討する。 以上の結果から,より小さなモデルからの洞察が必ずしも大きなモデルに当てはまるとは限らないことが示唆された。 さらに,バッチサイズが副作用に与える影響についても検討し,バッチサイズの増加が性能低下を軽減できることを示した。

関連論文リスト

• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)
• Predicting the Impact of Model Expansion through the Minima Manifold: A Loss Landscape Perspective [10.547693900435917]
  本稿では, 多様体の大きさを推定することにより, 膨張の影響を研究するための計量について述べる。 実験結果から, 性能の利得と多様体サイズとの関係が明らかとなった。
  論文  参考訳（メタデータ） (2024-05-24T19:33:05Z)
• Large Language Model Pruning [0.0]
  LLMに特化したモデルプルーニング手法を提案する。 提案手法は深層学習モデルの説明可能性を強調する。 また、大規模モデルにおけるプルーニングと小規模モデルにおけるプルーニングの違いについても検討する。
  論文  参考訳（メタデータ） (2024-05-24T18:22:15Z)
• The Effect of Model Size on LLM Post-hoc Explainability via LIME [1.1073658091405039]
  本研究では,自然言語推論タスクにおける4つの異なるサイズのDeBERTaV3モデルのLIME説明について検討する。 モデルの内部決定プロセスへの忠実度と妥当性に基づいて,これらの説明を評価する。 重要な発見は、モデルサイズの増加はモデル性能の改善にもかかわらず、可視性と相関しないということである。
  論文  参考訳（メタデータ） (2024-05-08T18:27:20Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Traceability and Reuse Mechanisms, the most important Properties of Model Transformation Languages [1.4685355149711299]
  本研究の目的は,調査結果を定量的に評価し,異なる要因による影響を確認し,否定することである。 その結果,トラシングと再利用のメカニズムは全体として最も重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2023-05-11T12:35:03Z)
• PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.1541203743303]
  本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2022-06-25T05:38:39Z)
• On the Importance of Data Size in Probing Fine-tuned Models [18.69409646532038]
  符号化された言語知識の程度は、微調整サンプルの数に依存することを示す。 我々は、微調整データサイズがモデルの言語知識に対する変更の回復可能性に影響を及ぼす一連の実験を通して示す。
  論文  参考訳（メタデータ） (2022-03-17T21:45:17Z)
• Predicting on the Edge: Identifying Where a Larger Model Does Better [61.793778186198864]
  小型モデルが最も不確実な例では,大規模モデルが最も改善されていることを示す。 小型モデルが不確実な場合,サンプルを大モデルにデフェクトするスイッチャーモデルにより,性能と資源利用の大幅な向上が達成できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:53:14Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Knowledge distillation: A good teacher is patient and consistent [71.14922743774864]
  最先端のパフォーマンスを実現する大規模モデルと、実用的な用途で手頃な価格のモデルとの間には、コンピュータビジョンの相違が増えている。 蒸留の有効性に大きな影響を及ぼす可能性のある,特定の暗黙的な設計選択を同定する。 ImageNetの最先端ResNet-50モデルが82.8%の精度で実現されている。
  論文  参考訳（メタデータ） (2021-06-09T17:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。