論文の概要: Representation Shattering in Transformers: A Synthetic Study with Knowledge Editing

• arxiv url: http://arxiv.org/abs/2410.17194v1
• Date: Tue, 22 Oct 2024 17:13:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:27:57.282735
• Title: Representation Shattering in Transformers: A Synthetic Study with Knowledge Editing
• Title（参考訳）: 変圧器における表現シェータリング : 知識編集を用いた合成研究
• Authors: Kento Nishi, Maya Okawa, Rahul Ramesh, Mikail Khona, Ekdeep Singh Lubana, Hidenori Tanaka,
• Abstract要約: 知識編集(KE)アルゴリズムは、モデルの内部重みを変更して、不正、時代遅れ、その他の望ましくない事実関連付けに対するターゲット更新を実行する。 近年の研究では、KEの適用がモデルの事実的リコール精度に悪影響を及ぼし、一般的な推論能力を低下させることが示されている。 我々は,KEが対象物以外の実体の表現に不注意に影響を与えていることを示し,対象物に関する未知の知識をモデルが推測できるような関連構造を歪めている。
• 参考スコア（独自算出の注目度）: 20.276952762837098
• License:
• Abstract: Knowledge Editing (KE) algorithms alter models' internal weights to perform targeted updates to incorrect, outdated, or otherwise unwanted factual associations. In order to better define the possibilities and limitations of these approaches, recent work has shown that applying KE can adversely affect models' factual recall accuracy and diminish their general reasoning abilities. While these studies give broad insights into the potential harms of KE algorithms, e.g., via performance evaluations on benchmarks, we argue little is understood as to why such destructive failures occur. Is it possible KE methods distort representations of concepts beyond the targeted fact, hence hampering abilities at broad? If so, what is the extent of this distortion? To take a step towards addressing such questions, we define a novel synthetic task wherein a Transformer is trained from scratch to internalize a ``structured'' knowledge graph. The structure enforces relationships between entities of the graph, such that editing a factual association has "trickling effects" on other entities in the graph (e.g., altering X's parent is Y to Z affects who X's siblings' parent is). Through evaluations of edited models and analysis of extracted representations, we show that KE inadvertently affects representations of entities beyond the targeted one, distorting relevant structures that allow a model to infer unseen knowledge about an entity. We call this phenomenon representation shattering and demonstrate that it results in degradation of factual recall and reasoning performance more broadly. To corroborate our findings in a more naturalistic setup, we perform preliminary experiments with a pretrained GPT-2-XL model and reproduce the representation shattering effect therein as well. Overall, our work yields a precise mechanistic hypothesis to explain why KE has adverse effects on model capabilities.
• Abstract（参考訳）: 知識編集(KE)アルゴリズムは、モデルの内部重みを変更して、不正、時代遅れ、その他の望ましくない事実関連付けに対するターゲット更新を実行する。 これらのアプローチの可能性と限界をよりよく定義するために、最近の研究は、KEの適用がモデルの事実的リコール精度に悪影響を及ぼし、一般的な推論能力が低下することを示した。 これらの研究は、ベンチマークのパフォーマンス評価を通じて、KEアルゴリズムの潜在的な害について幅広い洞察を与えるが、そのような破壊的な失敗が起こる理由については、ほとんど理解されていない。 KEメソッドは、対象の事実を超える概念の表現を歪めてしまう可能性があり、従って、広い範囲の能力を妨げるのか? もしそうなら、この歪みの程度はどれくらいですか。 このような問題に対処するために,トランスフォーマーをスクラッチからトレーニングして ``structured'' 知識グラフを内部化する,新しい合成タスクを定義する。 この構造はグラフの実体間の関係を強制し、そのグラフ内の他の実体に対して、事実関係の編集が「トリッキング効果」を持つ(例えば、X の親が Y から Z に変更されることは、X の親が誰であるかに影響を与える)。 編集されたモデルの評価と抽出された表現の分析を通じて、KEは対象物を超えた実体の表現に不注意に影響を与え、モデルが対象物に関する未知の知識を推測できるような関連構造を歪ませることを示した。 我々は,この現象の表現を破砕と呼び,事実のリコールや推論性能の低下がより広範に起こることを示した。 より自然主義的な設定で実験結果を相関させるため,事前学習したGPT-2-XLモデルを用いて予備実験を行い,その表現の破砕効果を再現する。 全体として、我々の研究は、KEがモデル能力に悪影響を及ぼす理由を説明するための正確な力学仮説を生み出している。

関連論文リスト

• DAG-aware Transformer for Causal Effect Estimation [0.8192907805418583]
  因果推論は、医療、経済学、社会科学などの分野における重要な課題である。 本稿では,これらの課題を克服する因果推論のためのトランスフォーマーを用いた新しい手法を提案する。 我々のモデルの中核となる革新は、注意機構に直接因果非巡回グラフ(DAG)を統合することである。
  論文  参考訳（メタデータ） (2024-10-13T23:17:58Z)
• "Why" Has the Least Side Effect on Model Editing [25.67779910446609]
  本稿では,モデル編集質問の分類による重要な因子探索型について検討する。 その結果, 性能劣化の程度は, 質問の種類によって大きく異なることがわかった。 また,バッチサイズが副作用に与える影響についても検討し,バッチサイズの増加が性能低下を軽減することを発見した。
  論文  参考訳（メタデータ） (2024-09-27T12:05:12Z)
• A Theoretical Understanding of Self-Correction through In-context Alignment [51.622068973630796]
  大規模言語モデル(LLM)は自己補正によって純粋に能力を向上させることができる。 LLMが比較的正確な自己評価を報酬として与える場合、文脈内応答を補充できることを示す。 これらの知見に触発されて,LLMジェイルブレイクに対する防御などの自己補正の応用についても解説した。
  論文  参考訳（メタデータ） (2024-05-28T22:33:02Z)
• Context De-confounded Emotion Recognition [12.037240778629346]
  コンテキストアウェア感情認識(CAER)は、対象者の感情状態を文脈情報で知覚することを目的としている。 長年見過ごされてきた問題は、既存のデータセットのコンテキストバイアスが感情状態のかなり不均衡な分布をもたらすことである。 本稿では、そのようなバイアスの影響からモデルを切り離し、CAERタスクにおける変数間の因果関係を定式化する因果関係に基づく視点を提供する。
  論文  参考訳（メタデータ） (2023-03-21T15:12:20Z)
• CLEAR: Generative Counterfactual Explanations on Graphs [60.30009215290265]
  グラフ上での対実的説明生成の問題について検討する。 グラフに関する反実的な説明を調査する研究はいくつかあるが、この問題の多くの課題はまだ十分に適応されていない。 本稿では,グラフレベルの予測モデルに対して,グラフ上の反実的説明を生成するための新しいフレームワークCLEARを提案する。
  論文  参考訳（メタデータ） (2022-10-16T04:35:32Z)
• Explainers in the Wild: Making Surrogate Explainers Robust to Distortions through Perception [77.34726150561087]
  説明における歪みの影響を知覚距離を埋め込むことで評価する手法を提案する。 Imagenet-Cデータセットの画像の説明を生成し、サロゲート説明書の知覚距離を使用して歪んだ画像と参照画像のより一貫性のある説明を作成する方法を示しています。
  論文  参考訳（メタデータ） (2021-02-22T12:38:53Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
  変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。 本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。 その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
  論文  参考訳（メタデータ） (2020-04-18T20:09:34Z)
• A Critical View of the Structural Causal Model [89.43277111586258]
  相互作用を全く考慮せずに原因と効果を識別できることが示される。 本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。 我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
  論文  参考訳（メタデータ） (2020-02-23T22:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。