論文の概要: DUnE: Dataset for Unified Editing
- arxiv url: http://arxiv.org/abs/2311.16087v1
- Date: Mon, 27 Nov 2023 18:56:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 13:36:35.110343
- Title: DUnE: Dataset for Unified Editing
- Title(参考訳): DUnE: 統一編集のためのデータセット
- Authors: Afra Feyza Aky\"urek, Eric Pan, Garry Kuwanto, Derry Wijaya
- Abstract要約: 自然言語文を編集するDUnE-an編集ベンチマークを導入する。
検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 3.7346004746366384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Even the most advanced language models remain susceptible to errors
necessitating to modify these models without initiating a comprehensive
retraining process. Model editing refers to the modification of a model's
knowledge or representations in a manner that produces the desired outcomes.
Prior research primarily centered around editing factual data e.g. "Messi plays
for Inter Miami" confining the definition of an edit to a knowledge triplet
i.e. (subject, object, relation). However, as the applications of language
models expand, so do the diverse ways in which we wish to edit and refine their
outputs. In this study, we broaden the scope of the editing problem to include
an array of editing cases such as debiasing and rectifying reasoning errors and
define an edit as any natural language expression that solicits a change in the
model's outputs. We are introducing DUnE-an editing benchmark where edits are
natural language sentences and propose that DUnE presents a challenging yet
relevant task. To substantiate this claim, we conduct an extensive series of
experiments testing various editing approaches to address DUnE, demonstrating
their respective strengths and weaknesses. We show that retrieval-augmented
language modeling can outperform specialized editing techniques and neither set
of approaches has fully solved the generalized editing problem covered by our
benchmark.
- Abstract(参考訳): 最も先進的な言語モデルでさえ、包括的なリトレーニングプロセスを開始することなく、これらのモデルを変更する必要のあるエラーを受けやすいままである。
モデル編集は、望ましい結果を生み出す方法でモデルの知識や表現を変更することを指す。
それまでの研究は主に事実データを編集することに焦点を当てており、例えば"Messi play for Inter Miami" は知識三重項 (subject, object, relation) に編集の定義を定めている。
しかし、言語モデルの応用が拡大するにつれて、我々はそのアウトプットを編集し洗練したいと願う様々な方法を実行します。
本研究では,編集問題の範囲を広げて,デバイアスや推論誤りの修正などの編集事例を含むようにし,モデル出力の変化を誘発する自然言語表現として編集を定義する。
我々は、自然言語文を編集するDUnE-an編集ベンチマークを導入し、DUnEが困難だが関連性のある課題を示すことを提案する。
この主張を裏付けるために、砂丘に対処するために様々な編集アプローチをテストし、それぞれの強みと弱みを示す一連の実験を行う。
検索型言語モデリングは,特殊編集技術よりも優れており,いずれの手法も,本ベンチマークでカバーする汎用編集問題を完全に解決していない。
関連論文リスト
- Potential and Challenges of Model Editing for Social Debiasing [20.186721346693577]
巨大なコーパスで訓練された大言語モデル(LLM)は、避けられないステレオタイプバイアスに悩まされる。
これらのバイアスを微調整で緩和することは、費用もデータもかかる。
ポストホックな方法でLLMを変更することに焦点を当てたモデル編集手法は、デバイアスに対処する大きな可能性を秘めている。
論文 参考訳(メタデータ) (2024-02-21T01:35:26Z) - The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。
編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。
提案手法は,下流タスク性能と強い相関を示す広範な実験により検証され,サロゲート指標としてパープレキシティを用いる。
論文 参考訳(メタデータ) (2024-02-15T01:50:38Z) - Is it Possible to Edit Large Language Models Robustly? [60.36021686516329]
大型言語モデル(LLM)は、人間の振る舞いを模倣するコミュニケーションAIを構築する上で重要な役割を担っている。
近年の研究では、言語モデルの特定の記憶を操作し、関連する言語生成を変更するモデル編集の領域を掘り下げている。
この研究は、編集方法の強みと限界を理解し、コミュニケーションAIの堅牢で現実的な応用を促進する。
論文 参考訳(メタデータ) (2024-02-08T17:06:45Z) - Customize your NeRF: Adaptive Source Driven 3D Scene Editing via
Local-Global Iterative Training [61.984277261016146]
テキスト記述や参照画像を編集プロンプトとして統合するCustomNeRFモデルを提案する。
最初の課題に取り組むために,前景領域編集とフルイメージ編集を交互に行うローカル・グローバル反復編集(LGIE)トレーニング手法を提案する。
第2の課題として、生成モデル内のクラス事前を利用して、一貫性の問題を緩和するクラス誘導正規化を設計する。
論文 参考訳(メタデータ) (2023-12-04T06:25:06Z) - CoditT5: Pretraining for Source Code and Natural Language Editing [34.77621217370665]
CoditT5は、大量のソースコードと自然言語コメントで事前訓練された、ソフトウェア関連の編集タスクのための大規模な言語モデルである。
コメント更新、バグ修正、自動コードレビューなど、さまざまなダウンストリーム編集タスクを微調整します。
論文 参考訳(メタデータ) (2022-08-10T16:59:40Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z) - Language Anisotropic Cross-Lingual Model Editing [61.51863835749279]
既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。
本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。
本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
論文 参考訳(メタデータ) (2022-05-25T11:38:12Z) - Learning Structural Edits via Incremental Tree Transformations [102.64394890816178]
構造化データのインクリメンタルな編集(すなわち「構造的編集」)のための汎用モデルを提案する。
我々の編集者は、反復的にツリー編集(例えば、サブツリーの削除や追加)を生成し、部分的に編集されたデータに適用することを学びます。
提案したエディタを2つのソースコード編集データセットで評価した結果,提案する編集エンコーダでは,従来よりも精度が向上していることがわかった。
論文 参考訳(メタデータ) (2021-01-28T16:11:32Z) - A Structural Model for Contextual Code Changes [20.185486717922615]
部分的に編集されたコードスニペットが与えられた場合、私たちのゴールは、スニペットの残りの部分に対する編集の完了を予測することです。
提案モデルでは,最先端のシーケンシャルモデルよりも28%,編集コードの生成を学習する構文モデルよりも2倍高い精度を実現している。
論文 参考訳(メタデータ) (2020-05-27T07:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。