論文の概要: Axiomatic Causal Interventions for Reverse Engineering Relevance Computation in Neural Retrieval Models

• arxiv url: http://arxiv.org/abs/2405.02503v1
• Date: Fri, 03 May 2024 22:30:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 01:28:27.003284
• Title: Axiomatic Causal Interventions for Reverse Engineering Relevance Computation in Neural Retrieval Models
• Title（参考訳）: ニューラル検索モデルにおけるリバースエンジニアリング関連計算のための軸方向因果干渉
• Authors: Catherine Chen, Jack Merullo, Carsten Eickhoff,
• Abstract要約: 本稿では,ニューラルランサーのリバースエンジニアリングにおける因果介入法を提案する。 本稿では, 項周波数公理を満たす成分を分離するために, 機械的解釈可能性法をどのように利用できるかを示す。
• 参考スコア（独自算出の注目度）: 20.29451537633895
• License:
• Abstract: Neural models have demonstrated remarkable performance across diverse ranking tasks. However, the processes and internal mechanisms along which they determine relevance are still largely unknown. Existing approaches for analyzing neural ranker behavior with respect to IR properties rely either on assessing overall model behavior or employing probing methods that may offer an incomplete understanding of causal mechanisms. To provide a more granular understanding of internal model decision-making processes, we propose the use of causal interventions to reverse engineer neural rankers, and demonstrate how mechanistic interpretability methods can be used to isolate components satisfying term-frequency axioms within a ranking model. We identify a group of attention heads that detect duplicate tokens in earlier layers of the model, then communicate with downstream heads to compute overall document relevance. More generally, we propose that this style of mechanistic analysis opens up avenues for reverse engineering the processes neural retrieval models use to compute relevance. This work aims to initiate granular interpretability efforts that will not only benefit retrieval model development and training, but ultimately ensure safer deployment of these models.
• Abstract（参考訳）: ニューラルネットワークは様々なランク付けタスクで顕著なパフォーマンスを示している。 しかし、それらが関連性を決定する過程や内部メカニズムは、いまだに不明である。 既存のIR特性に関するニューラルランサーの行動分析のアプローチは、全体のモデル行動を評価するか、因果メカニズムを不完全な理解を提供するようなプローブ法を採用するかのいずれかに依存している。 内的モデル決定過程のよりきめ細やかな理解を目的として,我々はニューラルランサーのリバースエンジニアに対する因果介入法を提案し,ランキングモデル内の項周波数公理を満たす成分を分離するために機械的解釈可能性法をどのように利用できるかを実証した。 モデルの初期レイヤで重複トークンを検出するアテンションヘッドのグループを特定し、ダウンストリームヘッドと通信してドキュメントの関連性を計算する。 より一般的には、この手法が、ニューラルネットワークモデルを用いて関連性を計算するプロセスのリバースエンジニアリングの道を開くことを提案する。 この研究は、検索モデルの開発とトレーニングに利益をもたらすだけでなく、最終的にこれらのモデルのより安全なデプロイを保証するための粒度の解釈可能性の取り組みを開始することを目的としています。

関連論文リスト

• Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
  データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。 さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。 そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
  論文  参考訳（メタデータ） (2024-06-17T13:22:00Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Recovering Quantitative Models of Human Information Processing with Differentiable Architecture Search [0.3384279376065155]
  定量的モデルの自動構築のためのオープンソースのパイプラインを導入する。 これらの手法は、心理物理学、学習、意思決定のモデルから基本的な定量的モチーフを回復することができる。
  論文  参考訳（メタデータ） (2021-03-25T16:00:23Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。