論文の概要: RippleBench: Capturing Ripple Effects Using Existing Knowledge Repositories
- arxiv url: http://arxiv.org/abs/2512.04144v1
- Date: Wed, 03 Dec 2025 18:57:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-05 21:11:45.815281
- Title: RippleBench: Capturing Ripple Effects Using Existing Knowledge Repositories
- Title（参考訳）: RippleBench: 既存の知識リポジトリを使ったリップル効果のキャプチャ
- Authors: Roy Rinberg, Usha Bhalla, Igor Shilov, Flavio P. Calmon, Rohit Gandikota,
- Abstract要約: RippleBench-Makerは、任意のモデル編集タスクにおけるリップル効果の測定を可能にする、Q&Aデータセットを生成する自動ツールである。
我々は8つの最先端の未学習の手法を評価し、すべてのトピックが未学習の知識からますます遠ざかるほど、非自明な精度の低下を示すことを発見した。
- 参考スコア（独自算出の注目度）: 11.436328183182738
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Targeted interventions on language models, such as unlearning, debiasing, or model editing, are a central method for refining model behavior and keeping knowledge up to date. While these interventions aim to modify specific information within models (e.g., removing virology content), their effects often propagate to related but unintended areas (e.g., allergies); these side-effects are commonly referred to as the ripple effect. In this work, we present RippleBench-Maker, an automatic tool for generating Q&A datasets that allow for the measurement of ripple effects in any model-editing task. RippleBench-Maker builds on a Wikipedia-based RAG pipeline (WikiRAG) to generate multiple-choice questions at varying semantic distances from the target concept (e.g., the knowledge being unlearned). Using this framework, we construct RippleBench-Bio, a benchmark derived from the WMDP (Weapons of Mass Destruction Paper) dataset, a common unlearning benchmark. We evaluate eight state-of-the-art unlearning methods and find that all exhibit non-trivial accuracy drops on topics increasingly distant from the unlearned knowledge, each with distinct propagation profiles. To support ongoing research, we release our codebase for on-the-fly ripple evaluation, along with the benchmark, RippleBench-Bio.
- Abstract（参考訳）: アンラーニング、デバイアス、モデル編集といった言語モデルに対するターゲット的介入は、モデルの振る舞いを洗練し、知識を最新に保つための中心的な方法である。
これらの介入は、モデル内の特定の情報(例えば、ウイルス学的内容の除去)を変更することを目的としているが、それらの効果は、しばしば関連するが意図しない領域(例えば、アレルギー)に伝播する。
本稿では、任意のモデル編集タスクにおけるリップル効果の測定を可能にする、Q&Aデータセットを生成する自動ツールであるRippleBench-Makerを紹介する。
RippleBench-MakerはウィキペディアベースのRAGパイプライン(WikiRAG)上に構築されており、ターゲット概念から様々な意味的距離で複数の質問を生成する。
このフレームワークを用いて、一般的な未学習ベンチマークであるWMDP(Weapons of Mass Destruction Paper)データセットから派生したベンチマークであるRippleBench-Bioを構築する。
我々は8つの最先端の未学習手法を評価し、それぞれ異なる伝播プロファイルを持つ未学習の知識から次第に遠ざかっていくトピックに対して、非自明な精度低下を示すことを発見した。
進行中の研究をサポートするため、オンザフライのリップル評価のためのコードベースとベンチマークであるRippleBench-Bioをリリースしました。
関連論文リスト
- Topology-Aware Modeling for Unsupervised Simulation-to-Reality Point Cloud Recognition [63.55828203989405]
我々はオブジェクトポイントクラウド上でSim2Real UDAのための新しいTopology-Aware Modeling (TAM)フレームワークを紹介する。
提案手法は,低レベルの高周波3次元構造を特徴とするグローバル空間トポロジを利用して,領域間隙を緩和する。
本稿では,クロスドメイン・コントラスト学習と自己学習を組み合わせた高度な自己学習戦略を提案する。
論文 参考訳（メタデータ） (2025-06-26T11:53:59Z) - Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。
確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。
TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
論文 参考訳（メタデータ） (2025-02-27T11:03:33Z) - Reproducible Machine Learning-based Voice Pathology Detection: Introducing the Pitch Difference Feature [1.7779568951268254]
本稿では,現在公開されているSaarbr"ucken Voice Databaseを用いた音声病理診断手法を提案する。
機械学習(ML)アルゴリズムを6つ評価する - サポートベクターマシン、kネアレスト隣人、ナイーブベイズ、決定木、ランダムフォレスト、AdaBoost。
アプローチは, 女性, 男性, 合計で85.61%, 84.69%, および85.22%であった。
論文 参考訳（メタデータ） (2024-10-14T14:17:52Z) - SpanSeq: Similarity-based sequence data splitting method for improved development and assessment of deep learning projects [0.0]
計算生物学におけるディープラーニングモデルは、開発中に使用されるデータのプールからノイズの多い偏差を学ぶ傾向にある。
利用可能なデータを開発(トレイン/バリデーション)とテストセットにランダムに分割することが一般的である。
本稿では,ほとんどの生物学的シーケンスにスケール可能な機械学習のためのデータベース分割手法であるSpanSeqを提案する。
論文 参考訳（メタデータ） (2024-02-22T12:15:05Z) - Change Point Detection with Conceptors [0.6526824510982799]
オフラインの変更点検出は、時系列内の変更点を振り返って特定する。
平均と分散の変化を対象とする多くの非パラメトリック手法は、非線形時間依存の存在下では失敗する。
本稿では,任意の依存構造を持つベースライン学習窓の特性を学習するための概念行列を提案する。
関連するエコー状態ネットワークはデータのデファシライザとして機能し、特徴間の相互作用の性質とベースライン状態との関係から変化点を識別する。
論文 参考訳（メタデータ） (2023-08-11T16:32:00Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳（メタデータ） (2023-06-27T16:59:06Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Latent-Insensitive Autoencoders for Anomaly Detection and
Class-Incremental Learning [0.0]
我々は、類似ドメインからのラベルなしデータを負の例として用いて、正規のオートエンコーダの潜伏層(ブートネック)を形成するLatent-Insensitive Autoencoder (LIS-AE)を紹介した。
本稿では,クラス毎に異なる潜在層を追加して,クラス増分学習を複数の異常検出タスクとして扱うとともに,クラス増分学習を負の例として,各潜在層を形作る。
論文 参考訳（メタデータ） (2021-10-25T16:53:49Z) - Constructing interval variables via faceted Rasch measurement and
multitask deep learning: a hate speech application [63.10266319378212]
本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。
われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
論文 参考訳（メタデータ） (2020-09-22T02:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。