論文の概要: In-Context Editing: Learning Knowledge from Self-Induced Distributions

• arxiv url: http://arxiv.org/abs/2406.11194v4
• Date: Sun, 30 Mar 2025 20:10:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 15:20:30.306387
• Title: In-Context Editing: Learning Knowledge from Self-Induced Distributions
• Title（参考訳）: 文脈編集:自己誘導分布から知識を学ぶ
• Authors: Siyuan Qi, Bangcheng Yang, Kailin Jiang, Xiaobo Wang, Jiaqi Li, Yifan Zhong, Yaodong Yang, Zilong Zheng,
• Abstract要約: 本研究では,1ホットターゲットではなくコンテキスト分布を最適化するために,Consistent In-Context Editing (ICE)を導入する。 ICEは、勾配に基づくチューニング手法の堅牢性と有効性を向上し、モデルの整合性を維持するのを防ぐ。 我々は、知識編集の4つの重要な側面、すなわち正確性、局所性、一般化、言語的品質を分析し、その利点を実証する。
• 参考スコア（独自算出の注目度）: 29.10148782152867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In scenarios where language models must incorporate new information efficiently without extensive retraining, traditional fine-tuning methods are prone to overfitting, degraded generalization, and unnatural language generation. To address these limitations, we introduce Consistent In-Context Editing (ICE), a novel approach leveraging the model's in-context learning capability to optimize toward a contextual distribution rather than a one-hot target. ICE introduces a simple yet effective optimization framework for the model to internalize new knowledge by aligning its output distributions with and without additional context. This method enhances the robustness and effectiveness of gradient-based tuning methods, preventing overfitting and preserving the model's integrity. We analyze ICE across four critical aspects of knowledge editing: accuracy, locality, generalization, and linguistic quality, demonstrating its advantages. Experimental results confirm the effectiveness of ICE and demonstrate its potential for continual editing, ensuring that the integrity of the model is preserved while updating information.
• Abstract（参考訳）: 言語モデルが大規模なリトレーニングを伴わずに新しい情報を効率的に組み込む必要があるシナリオでは、従来の微調整手法は過度に適合し、一般化が低下し、不自然な言語を生成する傾向にある。 このような制約に対処するため,1ホットターゲットではなくコンテキスト分布に最適化するために,モデルのコンテキスト内学習機能を活用した新しいアプローチであるConsistent In-Context Editing (ICE)を導入する。 ICEは、出力分布を追加のコンテキストなしで整列させることで、新たな知識を内部化するためのモデルのための、シンプルで効果的な最適化フレームワークを導入します。 この方法は、勾配に基づくチューニング手法の堅牢性と有効性を向上し、モデルの整合性を過度に調整し、保存するのを防ぐ。 我々は、知識編集の4つの重要な側面、すなわち正確性、局所性、一般化、言語的品質を分析し、その利点を実証する。 実験の結果、ICEの有効性を確認し、継続編集の可能性を示し、情報を更新しながらモデルの整合性が維持されることを確認した。

関連論文リスト

• Language Guided Concept Bottleneck Models for Interpretable Continual Learning [62.09201360376577]
  継続的な学習は、学習した情報を忘れることなく、学習システムが新しい知識を常に獲得することを目的としている。 既存のCLメソッドのほとんどは、モデルパフォーマンスを改善するための学習知識の保存に重点を置いている。 両課題に対処するために,言語指導型概念ボトルネックモデルを統合する新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-03-30T02:41:55Z)
• SoTCKGE:Continual Knowledge Graph Embedding Based on Spatial Offset Transformation [7.706481522285466]
  現在、CKGE(Continuous Knowledge Graph Embedding)メソッドは翻訳ベースの埋め込み方式に依存している。 本研究では,空間オフセット変換ベクトルに基づく新しいCKGEフレームワークを提案する。 パラメータ更新処理を洗練させるために,階層的な更新戦略とバランスの取れた埋め込み手法を導入する。
  論文  参考訳（メタデータ） (2025-03-11T08:54:03Z)
• CoME: An Unlearning-based Approach to Conflict-free Model Editing [8.215201299292033]
  大規模言語モデル(LLM)は、古い情報や事前訓練の誤った情報を保持することが多く、信頼性を損なう。 我々は,古い知識を選択的に除去することで,LLMにおける知識更新の精度を高める新しいフレームワークである,衝突のないモデル編集(CoME)を提案する。
  論文  参考訳（メタデータ） (2025-02-20T04:55:38Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• DiPT: Enhancing LLM reasoning through diversified perspective-taking [27.443341091299168]
  既存の言語モデル推論の改善作業は、通常、単一のソリューションパスを探索する。 本稿では,社会学における視点学習にヒントを得て,新しいアプローチであるDiPTを紹介する。 これにより、モデルは問題のコンテキストをより深く理解し、最も効果的なソリューションパスを特定することができる。
  論文  参考訳（メタデータ） (2024-09-10T06:17:27Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Contrastive Perplexity for Controlled Generation: An Application in Detoxifying Large Language Models [25.212449683397647]
  本稿では,暗黙的な知識編集と制御されたテキスト生成のための微調整LDMのためのコントラスト学習目標の統合について検討する。 自己教師型でモデルのトレーニングを容易にするため,市販のLCMを用いてデータ生成のトレーニングを行う。
  論文  参考訳（メタデータ） (2024-01-16T16:49:39Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Integrating Prior Knowledge in Post-hoc Explanations [3.6066164404432883]
  ポストホック解釈可能性法は、訓練された決定モデルの予測をユーザーに説明することを目的としている。 本稿では,事前知識を解釈可能性の目標に明示的に統合するコスト関数を提案する。 本稿では,KICE(Knowledge Integration in Counterfactual Explanation)と呼ばれる新しい解釈可能性手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T13:09:53Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。