論文の概要: Pioneering Reliable Assessment in Text-to-Image Knowledge Editing: Leveraging a Fine-Grained Dataset and an Innovative Criterion

• arxiv url: http://arxiv.org/abs/2409.17928v2
• Date: Sat, 26 Oct 2024 06:03:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 16:00:56.859377
• Title: Pioneering Reliable Assessment in Text-to-Image Knowledge Editing: Leveraging a Fine-Grained Dataset and an Innovative Criterion
• Title（参考訳）: テキストから画像への知識編集における信頼性評価:細粒度データセットの活用とイノベーティブな基準
• Authors: Hengrui Gu, Kaixiong Zhou, Yili Wang, Ruobing Wang, Xin Wang,
• Abstract要約: テキスト・トゥ・イメージ(T2I)拡散モデルは、事実知識をパラメータにエンコードする。 知識編集技術は、対象とする方法でモデル知識を更新することを目的としている。 我々は3つのフェーズに網羅してT2I知識編集フレームワークを設計する。 T2I知識編集のためのシンプルだが効果的なアプローチである textbfMPE を導入する。
• 参考スコア（独自算出の注目度）: 21.37254997228105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: During pre-training, the Text-to-Image (T2I) diffusion models encode factual knowledge into their parameters. These parameterized facts enable realistic image generation, but they may become obsolete over time, thereby misrepresenting the current state of the world. Knowledge editing techniques aim to update model knowledge in a targeted way. However, facing the dual challenges posed by inadequate editing datasets and unreliable evaluation criterion, the development of T2I knowledge editing encounter difficulties in effectively generalizing injected knowledge. In this work, we design a T2I knowledge editing framework by comprehensively spanning on three phases: First, we curate a dataset \textbf{CAKE}, comprising paraphrase and multi-object test, to enable more fine-grained assessment on knowledge generalization. Second, we propose a novel criterion, \textbf{adaptive CLIP threshold}, to effectively filter out false successful images under the current criterion and achieve reliable editing evaluation. Finally, we introduce \textbf{MPE}, a simple but effective approach for T2I knowledge editing. Instead of tuning parameters, MPE precisely recognizes and edits the outdated part of the conditioning text-prompt to accommodate the up-to-date knowledge. A straightforward implementation of MPE (Based on in-context learning) exhibits better overall performance than previous model editors. We hope these efforts can further promote faithful evaluation of T2I knowledge editing methods.
• Abstract（参考訳）: 事前学習中、テキスト・トゥ・イメージ(T2I)拡散モデルは、事実知識をパラメータにエンコードする。 これらのパラメータ化された事実は、現実的な画像生成を可能にするが、時間とともに時代遅れになり、それによって世界の現在の状態を誤って表現する。 知識編集技術は、対象とする方法でモデル知識を更新することを目的としている。 しかし、データセットの編集が不十分なことと、信頼性の低い評価基準によって引き起こされる2つの課題に直面し、T2I知識編集の開発は、効果的に注入された知識を一般化するのに困難に直面した。 本稿では,T2I知識編集フレームワークを3つのフェーズに網羅して設計する。まず,パラフレーズと多目的テストを含むデータセットをキュレートし,知識一般化のより詳細な評価を可能にする。 次に,新しい基準である「textbf{adaptive CLIP threshold}」を提案する。 最後に、T2I知識編集のための単純かつ効果的なアプローチである \textbf{MPE} を紹介する。 パラメータをチューニングする代わりに、MPEは条件付きテキストプロンプトの古い部分を正確に認識し、編集し、最新の知識に適合させる。 MPEの簡単な実装(コンテキスト内学習に基づく)では、以前のモデルエディタよりも全体的なパフォーマンスが向上している。 これらの取り組みにより,T2I知識編集手法の忠実な評価がさらに促進されることを願っている。

関連論文リスト

• ReEdit: Multimodal Exemplar-Based Image Editing with Diffusion Models [11.830273909934688]
  最新のテキスト・ツー・イメージ(T2I)拡散モデルでは、高品質な画像を生成することで画像編集に革命をもたらした。 テキストと画像のモダリティの両方で編集をキャプチャする,モジュール的で効率的なエンドツーエンドフレームワークであるReEditを提案する。 以上の結果から,ReEditは定性的かつ定量的に現代的アプローチを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2024-11-06T15:19:24Z)
• Detecting Edited Knowledge in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• AKEW: Assessing Knowledge Editing in the Wild [79.96813982502952]
  AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。 知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。 大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
  論文  参考訳（メタデータ） (2024-02-29T07:08:34Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing [86.92711729969488]
  我々は、画像の編集に事前訓練された拡散モデルの驚くべき能力を利用する。 彼らはモデルを微調整するか、事前訓練されたモデルの潜在空間で画像を反転させる。 選択された地域に対する不満足な結果と、非選択された地域における予期せぬ変化の2つの問題に悩まされている。
  論文  参考訳（メタデータ） (2023-03-28T00:16:45Z)
• EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
  編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。 InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。 我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2022-09-27T12:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。