論文の概要: Generalizable Model Editing Could Be More Than Direct Generalization

• arxiv url: http://arxiv.org/abs/2610.15707v1
• Date: Sun, 11 Oct 2026 15:44:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:12:15.290633
• Title: Generalizable Model Editing Could Be More Than Direct Generalization
• Title（参考訳）: 一般化可能なモデル編集は、直接の一般化以上のものかもしれない
• Abstract要約: 古典的編集方法でさえ、非常に流線型な一般化挙動を示す。 我々は,現代LLMの強い推論と構成能力によって強化された構成一般化を,理論的に基礎的かつ実証的に検証された代替案として同定する。 全体として、一般化可能なモデル編集は直接的な一般化以上のものであり、より一般化可能で実際にデプロイ可能な知識更新技術へのパラダイムシフトを求めることができる。
• 参考スコア（独自算出の注目度）: 57.03952384152859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central desideratum in model editing is generalization to complex tasks, which prior work formalizes under a direct generalization paradigm: treating and evaluating LLM behavior as an input-output mapping and expecting a factual update to alter outputs on reasoning tasks. Yet despite substantial empirical effort, the field consensus remains that such generalization is highly challenging and elusive. However, when we deploy the latest models in an in-the-wild chatbot-user setting, we surprisingly find that even classical editing methods exhibit remarkably fluent generalization behavior. This motivates us to revisit the obstacles to generalization and the limitations of the prevailing paradigm. We find that direct generalization is fundamentally constrained both theoretically and practically: theoretically, it suffers from an identifiability issue; and practically, existing approaches attempting to circumvent this are further hindered by the ambiguity of their constructed biases and by vulnerability to being overridden by other factors such as optimization dynamics. We instead identify compositional generalization, empowered by the increasingly strong reasoning and composition abilities of modern LLMs, as a theoretically grounded and empirically validated alternative. We validate this phenomenon across multiple models and editing methods, showing that such generalization behavior is widespread. Overall, we argue that generalizable model editing could be more than direct generalization, and call for a paradigm shift toward more generalizable and practically deployable knowledge update techniques.
• Abstract（参考訳）: モデル編集における中心的なデサイドラタムは、複雑なタスクへの一般化であり、以前の作業は直接的な一般化パラダイムの下で形式化され、LSMの振る舞いを入出力マッピングとして扱い評価し、推論タスクの出力を変更するための事実更新を期待する。 しかし、かなりの経験的努力にもかかわらず、そのような一般化は極めて困難であり、解明可能であるというフィールドコンセンサスは依然として残っている。 しかし、最新のモデルをWildのチャットボット・ユーザー・セッティングにデプロイすると、古典的な編集方法でさえ驚くほど流動的な一般化の挙動を示すのが驚きである。 このことは、一般化の障害と一般的なパラダイムの限界を再考する動機となります。 理論上は識別可能性の問題に悩まされており、これを回避するための既存のアプローチは、構築されたバイアスのあいまいさや、最適化力学などの他の要因によって過度に守られる脆弱性によってさらに妨げられている。 代わりに、現代LLMの強い推論と構成能力によって強化される構成一般化を、理論的に基礎付けられ、実証的に検証された代替案として特定する。 我々は,この現象を複数のモデルや編集手法で検証し,そのような一般化行動が広範に行われていることを示す。 全体として、一般化可能なモデル編集は直接的な一般化以上のものであり、より一般化可能で実際にデプロイ可能な知識更新技術へのパラダイムシフトを求めることができる。

関連論文リスト

• Reforming the Mechanism: Editing Reasoning Patterns in LLMs with Circuit Reshaping [51.33479921152361]
  大規模言語モデル(LLM)は、信頼性を損なう欠点のある推論能力を示すことが多い。 推論を改善する既存のアプローチは一般的に、一般的なモノリシックなスキルとして扱い、非効率で特定の推論エラーをターゲットできない広範囲なトレーニングを適用する。 本稿では,LLMにおける特定の推論パターンを選択的に修正し,他の推論経路を保存するためのパラダイムであるReasoning Editingを紹介する。
  論文  参考訳（メタデータ） (2026-03-06T22:51:39Z)
• On the Out-of-Distribution Generalization of Reasoning in Multimodal LLMs for Simple Visual Planning Tasks [56.98385132295952]
  簡単な計画課題において,チェーン・オブ・ソート・アプローチがいかに一般化するかを評価する。 複数のテキスト形式を組み合わせた推論トレースが、最高の(かつ非自明な)OOD一般化をもたらすことが分かりました。 純粋にテキストベースのモデルは、画像ベースの入力を利用するモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-17T09:51:40Z)
• Contrastive Weak-to-strong Generalization [50.5986177336082]
  本稿では,弱強一般化を推し進めるため,Contrastive Weak-to-Strong Generalization (ConG)を提案する。 このフレームワークは、より高品質なサンプルを生成するために、事前調整後の弱いモデル間の対照的な復号を用いる。
  論文  参考訳（メタデータ） (2025-10-09T07:37:23Z)
• When Shift Happens - Confounding Is to Blame [21.028845817427825]
  経験的リスク最小化は、最先端のアウト・オブ・ディストリビューションの一般化手法に匹敵する、あるいは超越する可能性があることを示す。 我々はこの現象を隠された共起によるものとみなす。 私たちは、隠れた共同創設者のためのプロキシで強化されたモデルが、隠れた共同設立のシフトによって引き起こされる課題を緩和できることを示します。
  論文  参考訳（メタデータ） (2025-05-27T16:50:44Z)
• Learning Model Successors [31.25792515137003]
  我々は、トレーニングで観察された有限標本に基づいて、統一テーマは誘導であると主張する。 本稿では,モデル継承という中心的な概念を取り入れた新しい学習パラダイム,インダクティブラーニングを提案する。
  論文  参考訳（メタデータ） (2025-01-31T22:27:09Z)
• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。