論文の概要: Is Fine-Tuning an Effective Solution? Reassessing Knowledge Editing for Unstructured Data
- arxiv url: http://arxiv.org/abs/2506.09672v1
- Date: Wed, 11 Jun 2025 12:43:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 06:35:02.963037
- Title: Is Fine-Tuning an Effective Solution? Reassessing Knowledge Editing for Unstructured Data
- Title（参考訳）: ファインチューニングは効果的な解決策か? 構造化されていないデータの知識編集を再評価する
- Authors: Hao Xiong, Chuanyuan Tan, Wenliang Chen,
- Abstract要約: 大規模言語モデル(LLM)の関連知識の更新には,非構造化知識編集(UKE)が不可欠である。
これは、現実世界の知識の一般的な形態である長文や自由形文などの非構造的な入力に焦点を当てている。
従来の研究では有効な方法が提案され、試験されているが、いくつかの問題が存在する。
- 参考スコア（独自算出の注目度）: 5.18893101683044
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Unstructured Knowledge Editing (UKE) is crucial for updating the relevant knowledge of large language models (LLMs). It focuses on unstructured inputs, such as long or free-form texts, which are common forms of real-world knowledge. Although previous studies have proposed effective methods and tested them, some issues exist: (1) Lack of Locality evaluation for UKE, and (2) Abnormal failure of fine-tuning (FT) based methods for UKE. To address these issues, we first construct two datasets, UnKEBench-Loc and AKEW-Loc (CF), by extending two existing UKE datasets with locality test data from the unstructured and structured views. This enables a systematic evaluation of the Locality of post-edited models. Furthermore, we identify four factors that may affect the performance of FT-based methods. Based on these factors, we conduct experiments to determine how the well-performing FT-based methods should be trained for the UKE task, providing a training recipe for future research. Our experimental results indicate that the FT-based method with the optimal setting (FT-UKE) is surprisingly strong, outperforming the existing state-of-the-art (SOTA). In batch editing scenarios, FT-UKE shows strong performance as well, with its advantage over SOTA methods increasing as the batch size grows, expanding the average metric lead from +6.78% to +10.80%
- Abstract（参考訳）: 非構造化知識編集(UKE)は、大規模言語モデル(LLM)の関連知識の更新に不可欠である。
これは、現実世界の知識の一般的な形態である長文や自由形文などの非構造的な入力に焦点を当てている。
従来の研究では, 有効手法の提案と試験を行ったが, 1) 英国における局所性評価の欠如, (2) 微調整法(FT)に基づくUKEの異常故障など, いくつか問題がある。
これらの問題に対処するため,UnKEBench-Loc と AKEW-Loc (CF) という2つのデータセットを構築した。
これにより、後編集モデルの局所性を体系的に評価できる。
さらに,FT法の性能に影響を及ぼす因子を4つ同定した。
これらの要因に基づいて、我々は、FTベースの手法がUKEタスクに対してどのように訓練されるべきかを決定する実験を行い、将来の研究のためのトレーニングレシピを提供する。
実験結果から,FT-UKEを用いたFT-based methodは,既存のSOTA(State-of-the-art)よりも驚くほど強いことが示唆された。
バッチ編集のシナリオでは、FT-UKEも高いパフォーマンスを示し、バッチサイズが大きくなるにつれてSOTAメソッドよりも有利になり、平均メトリックリードは+6.78%から+10.80%に拡大した。
関連論文リスト
- Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models [12.500777267361102]
我々は,新しいtextbfpreference-textbforiented 教師付き textbffine-textbftuning アプローチ,すなわち PoFT を導入する。
直感的には、SFTを特定の嗜好を与えることによって強化することであり、同じSFTデータ上で、整列 LLM 上でターゲットモデルをテキストフォバリングする。
PoFTは、さまざまなトレーニングデータセットとベースモデルにわたるSFTベースラインに対して、安定的で一貫した改善を実現している。
論文 参考訳（メタデータ） (2024-12-17T12:49:14Z) - Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。
提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。
DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
論文 参考訳（メタデータ） (2024-10-02T07:14:26Z) - EntGPT: Entity Linking with Generative Large Language Models [8.557683104631883]
ELタスクの強化に先進的なプロンプトエンジニアリングを採用したEntGPTを導入する。
この3段階のハードプロンプト法(EntGPT-P)は,バニラプロンプトよりもマイクロF_1スコアを最大36%向上させる。
命令チューニング手法EntGPT-I(EntGPT-I)は,教師付きELタスクの平均2.1%のマイクロF_1スコアを改善する。
論文 参考訳（メタデータ） (2024-02-09T19:16:27Z) - Communication Efficient and Provable Federated Unlearning [43.178460522012934]
我々は、フェデレーション・アンラーニング(フェデレーション・アンラーニング)という、特定のクライアントやデータポイントが、フェデレーション・ラーニング(FL)を通じて学習したグローバルモデルに与える影響をなくすための新しい問題について研究する。
この問題は、忘れられる権利とFLのプライバシー問題によって引き起こされる。
我々は,テキストコミュニケーション効率とテキストテキサクト・アンラーニング性という2つの重要な基準を満たす,正確な非ラーニングのための新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2024-01-19T20:35:02Z) - DavIR: Data Selection via Implicit Reward for Large Language Models [62.59514469369608]
DavIRは、学習後の大規模言語モデルのためのモデルベースのデータ選択手法である。
DavIRで選択したAlpacaデータセットの6%は、LLaMAモデルとGemmaモデルの両方を操り、フル52Kデータセットでトレーニングされたモデルと比較すると、優れたパフォーマンスが得られる。
論文 参考訳（メタデータ） (2023-10-16T07:26:24Z) - UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。
本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。
この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-09-16T11:30:29Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z) - FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。
既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。
本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文 参考訳（メタデータ） (2020-12-06T15:46:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。