論文の概要: Neural Corrective Machine Unranking

• arxiv url: http://arxiv.org/abs/2411.08562v1
• Date: Wed, 13 Nov 2024 12:19:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:11:43.935449
• Title: Neural Corrective Machine Unranking
• Title（参考訳）: ニューラル・コレクティブ・マシンアングレード
• Authors: Jingrui Hou, Axel Finke, Georgina Cosma,
• Abstract要約: 正解法を定式化し、新しい教師学生の枠組みである正解法無依存蒸留(CuRD)を提案する。 CuRDは、(訓練された)ニューラルIRモデルを調整することで、その出力関連スコアが低レベルの非検索可能なサンプルを模倣するように、忘れることを容易にする。 トレーニングデータセットの1%と20%のセットサイズを忘れる実験は、CuRDが忘れと修正の点で7つの最先端のベースラインを上回っていることを示している。
• 参考スコア（独自算出の注目度）: 3.2340528215722553
• License:
• Abstract: Machine unlearning in neural information retrieval (IR) systems requires removing specific data whilst maintaining model performance. Applying existing machine unlearning methods to IR may compromise retrieval effectiveness or inadvertently expose unlearning actions due to the removal of particular items from the retrieved results presented to users. We formalise corrective unranking, which extends machine unlearning in (neural) IR context by integrating substitute documents to preserve ranking integrity, and propose a novel teacher-student framework, Corrective unRanking Distillation (CuRD), for this task. CuRD (1) facilitates forgetting by adjusting the (trained) neural IR model such that its output relevance scores of to-be-forgotten samples mimic those of low-ranking, non-retrievable samples; (2) enables correction by fine-tuning the relevance scores for the substitute samples to match those of corresponding to-be-forgotten samples closely; (3) seeks to preserve performance on samples that are not targeted for forgetting. We evaluate CuRD on four neural IR models (BERTcat, BERTdot, ColBERT, PARADE) using MS MARCO and TREC CAR datasets. Experiments with forget set sizes from 1 % and 20 % of the training dataset demonstrate that CuRD outperforms seven state-of-the-art baselines in terms of forgetting and correction while maintaining model retention and generalisation capabilities.
• Abstract（参考訳）: ニューラル情報検索(IR)システムにおける機械学習は、モデル性能を維持しながら特定のデータを削除する必要がある。 既存の機械学習手法をIRに適用することで、ユーザーが提示した検索結果から特定の項目を削除したことにより、検索の有効性を損なうことや、未学習の行動を不注意に露呈する可能性がある。 本稿では,代用文書の統合による(神経)IRコンテキストにおける機械学習の非学習を形式化してランキングの整合性を維持するとともに,この課題に対して,新しい教師学習フレームワークCuRDを提案する。 第1報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第3報,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第2章,第3章,第2章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3章,第3報,第3,第3,第3,第3,第3,第3,第3,第3,第3,第3,第3,第3,第3,第3,第3,第3,第3, 我々は、MS MARCOとTREC CARデータセットを用いて、4つのニューラルIRモデル(BERTcat、BERTdot、ColBERT、PARADE)上でCuRDを評価する。 トレーニングデータセットの1%と20%のセットサイズを忘れる実験は、CuRDがモデル保持と一般化能力を維持しながら、忘れと修正の点で7つの最先端のベースラインを上回っていることを示している。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Goldfish: An Efficient Federated Unlearning Framework [3.956103498302838]
  Goldfishは機械学習アルゴリズムのための新しいフレームワークだ。 基本モデル、損失関数、最適化、拡張の4つのモジュールで構成されている。 既存の機械学習アルゴリズムの妥当性の低い課題に対処するため,新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2024-04-04T03:29:41Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Machine Unlearning for Causal Inference [0.6621714555125157]
  モデルが与えられたユーザに関する情報(マシンアンラーニング)の学習/取得の一部を忘れることが重要である。 本稿では、因果推論のための機械学習の概念、特に確率スコアマッチングと治療効果推定について紹介する。 この研究で使用されるデータセットは、ジョブトレーニングプログラムの有効性を評価するために広く使用されているデータセットであるLalondeデータセットである。
  論文  参考訳（メタデータ） (2023-08-24T17:27:01Z)
• Generative Adversarial Networks Unlearning [13.342749941357152]
  機械学習は、訓練された機械学習モデルからトレーニングデータを消去するソリューションとして登場した。 GAN(Generative Adversarial Networks)の研究は、ジェネレータと識別器を含む独自のアーキテクチャによって制限されている。 本稿では,GANモデルにおける項目学習とクラス学習の両方を対象としたケースドアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-19T02:21:21Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• PROMISSING: Pruning Missing Values in Neural Networks [0.0]
  本稿では,ニューラルネットワークの学習と推論の段階において,欠落値(PROMISSing)を抽出する,シンプルで直感的かつ効果的な手法を提案する。 実験の結果, ProMISSing は様々な計算手法と比較して予測性能が良くなることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T15:37:27Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• An Efficient Method of Training Small Models for Regression Problems with Knowledge Distillation [1.433758865948252]
  回帰問題に対する知識蒸留の新しい定式化を提案する。 まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。 マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
  論文  参考訳（メタデータ） (2020-02-28T08:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。