論文の概要: Knowledge Editing in Language Models via Adapted Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2406.09920v1
• Date: Fri, 14 Jun 2024 11:02:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 14:05:00.629658
• Title: Knowledge Editing in Language Models via Adapted Direct Preference Optimization
• Title（参考訳）: 適応型直接選好最適化による言語モデルにおける知識編集
• Authors: Amit Rozner, Barak Battash, Lior Wolf, Ofir Lindenbaum,
• Abstract要約: 大きな言語モデル(LLM)は、時間とともに時代遅れになる可能性がある。 知識編集は、高価なリトレーニングを必要としないウェイトアップデートを使用して、この課題を克服することを目的としている。
• 参考スコア（独自算出の注目度）: 50.616875565173274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) can become outdated over time as they may lack updated world knowledge, leading to factual knowledge errors and gaps. Knowledge Editing (KE) aims to overcome this challenge using weight updates that do not require expensive retraining. We propose treating KE as an LLM alignment problem. Toward this goal, we introduce Knowledge Direct Preference Optimization (KDPO), a variation of the Direct Preference Optimization (DPO) that is more effective for knowledge modifications. Our method is based on an online approach that continually updates the knowledge stored in the model. We use the current knowledge as a negative sample and the new knowledge we want to introduce as a positive sample in a process called DPO. We also use teacher-forcing for negative sample generation and optimize using the positive sample, which helps maintain localized changes. We tested our KE method on various datasets and models, comparing it to several cutting-edge methods, with 100 and 500 sequential edits. Additionally, we conducted an ablation study comparing our method to the standard DPO approach. Our experimental results show that our modified DPO method allows for more refined KE, achieving similar or better performance compared to previous methods.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、更新された世界の知識が欠如し、事実的な知識の誤りとギャップにつながるため、時代とともに時代遅れになる可能性がある。 知識編集(KE)は、高価なリトレーニングを必要としない重み更新を使用して、この課題を克服することを目的としている。 我々は,KEをLLMアライメント問題として扱うことを提案する。 そこで本研究では,知識修正に有効なDPO(Direct Preference Optimization)のバリエーションであるKDPO(Knowledge Direct Preference Optimization)を導入する。 我々の手法は、モデルに格納された知識を継続的に更新するオンラインアプローチに基づいている。 私たちは、現在の知識を負のサンプルとして、そしてDPOと呼ばれるプロセスで正のサンプルとして導入したい新しい知識として使用します。 また, 正のサンプル生成に教師強制を用い, 正のサンプルを最適化し, 局所的な変化の維持に役立てる。 我々はKE法を様々なデータセットやモデル上でテストし、それをいくつかの最先端の方法と比較し、100と500のシーケンシャルな編集を行った。 さらに,本法を標準DPO法と比較したアブレーション試験を行った。 実験結果から, 改良型DPO法はKEを改良し, 従来手法と同等あるいは良好な性能が得られることがわかった。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Mining the Explainability and Generalization: Fact Verification Based on Self-Instruction [0.7673339435080445]
  本稿では,自己指導に基づくファクトチェックのための微調整手法を提案する。 最小スケールのLLaMA-7Bモデルを微調整し、挑戦的な事実チェックデータセットFEVEROUSとHOVERで評価する。 本手法は, 自己指導型学習をファクトチェックに活用し, コントラスト学習とDPOの改善を両立させる。
  論文  参考訳（メタデータ） (2024-05-21T08:23:54Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Active Preference Learning for Large Language Models [12.093302163058436]
  我々は、好みラベルをよりよく活用するために、DPOのアクティブな学習戦略を開発する。 本稿では,言語モデルの予測エントロピーに基づく,プロンプト/コンプリートペアの実用的な獲得関数を提案する。 提案手法は,ペアの選好データに基づく微調整の学習率と最終性能の両方を改善する方法を示す。
  論文  参考訳（メタデータ） (2024-02-12T23:09:00Z)
• Model-based adaptation for sample efficient transfer in reinforcement learning control of parameter-varying systems [1.8799681615947088]
  我々はモデルに基づく制御のアイデアを活用し、強化学習アルゴリズムのサンプル効率問題に対処する。 また,本手法は強化学習のみでの微調整よりもサンプリング効率が高いことを示した。
  論文  参考訳（メタデータ） (2023-05-20T10:11:09Z)
• Towards Evaluating Adaptivity of Model-Based Reinforcement Learning Methods [25.05409184943328]
  モデルに基づく手法は, 局所的な環境変化に適応する能力に乏しいことを示す。 適応的な振る舞いを損なう要素を特定し、深層モデルベースRLで頻繁に使用される基礎技術とリンクする。 適応非線形モデルに基づく手法を構築する際の課題について考察する。
  論文  参考訳（メタデータ） (2022-04-25T06:45:16Z)
• Few-shot Quality-Diversity Optimization [50.337225556491774]
  品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。 本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。 ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
  論文  参考訳（メタデータ） (2021-09-14T17:12:20Z)
• META-Learning Eligibility Traces for More Sample Efficient Temporal Difference Learning [2.0559497209595823]
  そこで本稿では,状態依存的な方法で,可視性トレースパラメータを調整するためのメタラーニング手法を提案する。 この適応は、更新対象の分布情報をオンラインで学習する補助学習者の助けを借りて達成される。 提案手法は,いくつかの前提条件下では,全体の目標誤差を最小限に抑えて,更新対象の全体的な品質を改善する。
  論文  参考訳（メタデータ） (2020-06-16T03:41:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。