論文の概要: Interpretability Analysis of Domain Adapted Dense Retrievers

• arxiv url: http://arxiv.org/abs/2501.14459v1
• Date: Fri, 24 Jan 2025 12:42:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:57:23.889037
• Title: Interpretability Analysis of Domain Adapted Dense Retrievers
• Title（参考訳）: ドメイン適応Dense Retrieverの解釈可能性解析
• Authors: Goksenin Yuksel, Jaap Kamps,
• Abstract要約: 我々は,高密度検索者に対して,インスタンスベースとランキングベースの両方の説明を提供する解釈可能性手法を開発した。 我々の視覚化では、ドメイン適応モデルは非適応モデルよりもドメイン内用語に重点を置いている。 本研究は、非教師なし領域適応技術が、新しいドメインに適応する際の高密度レトリバーの挙動にどのように影響するかを論じる。
• 参考スコア（独自算出の注目度）: 0.7305019142196582
• License:
• Abstract: Dense retrievers have demonstrated significant potential for neural information retrieval; however, they exhibit a lack of robustness to domain shifts, thereby limiting their efficacy in zero-shot settings across diverse domains. Previous research has investigated unsupervised domain adaptation techniques to adapt dense retrievers to target domains. However, these studies have not focused on explainability analysis to understand how such adaptations alter the model's behavior. In this paper, we propose utilizing the integrated gradients framework to develop an interpretability method that provides both instance-based and ranking-based explanations for dense retrievers. To generate these explanations, we introduce a novel baseline that reveals both query and document attributions. This method is used to analyze the effects of domain adaptation on input attributions for query and document tokens across two datasets: the financial question answering dataset (FIQA) and the biomedical information retrieval dataset (TREC-COVID). Our visualizations reveal that domain-adapted models focus more on in-domain terminology compared to non-adapted models, exemplified by terms such as "hedge," "gold," "corona," and "disease." This research addresses how unsupervised domain adaptation techniques influence the behavior of dense retrievers when adapted to new domains. Additionally, we demonstrate that integrated gradients are a viable choice for explaining and analyzing the internal mechanisms of these opaque neural models.
• Abstract（参考訳）: しかし、それらはドメインシフトに対する堅牢性の欠如を示しており、それによってさまざまなドメインでゼロショット設定での有効性を制限している。 従来,高密度レトリバーを対象ドメインに適応させるため,教師なしドメイン適応技術について検討されてきた。 しかし、これらの研究は、そのような適応がモデルの振る舞いをどのように変化させるかを理解するための説明可能性分析には焦点を当てていない。 本稿では,高密度検索者に対して,インスタンスベースとランキングベースの両方の説明を提供する解釈可能性手法を開発するために,統合的な勾配フレームワークを活用することを提案する。 これらの説明を生成するために、クエリとドキュメントの属性の両方を明らかにする新しいベースラインを導入する。 本手法は,ファイナンシャル質問応答データセット (FIQA) とバイオメディカル情報検索データセット (TREC-COVID) の2つのデータセット間のクエリおよび文書トークンの入力属性に対するドメイン適応の影響を解析するために用いられる。 我々の視覚化では、ドメイン適応モデルは非適応モデルよりもドメイン内用語に重点を置いており、"hedge"、"gold"、"corona"、"disease"といった用語で例示されている。 本研究は、非教師なし領域適応技術が、新しいドメインに適応する際の高密度レトリバーの挙動にどのように影響するかを論じる。 さらに、これらの不透明なニューラルモデルの内部メカニズムを説明し解析する上で、積分勾配が有効な選択であることを示す。

関連論文リスト

• Towards Subject Agnostic Affective Emotion Recognition [8.142798657174332]
  脳波信号による脳-コンピュータインタフェース(aBCI)の不安定性 本稿では,メタラーニングに基づくメタドメイン適応手法を提案する。 提案手法は,パブリックなaBICsデータセットの実験において有効であることが示されている。
  論文  参考訳（メタデータ） (2023-10-20T23:44:34Z)
• Dense Retrieval Adaptation using Target Domain Description [18.120678619163037]
  ドメイン適応は、データ分布がソースドメインと異なる新しいドメインに検索モデルを適用するプロセスである。 本稿では,合成文書コレクション,クエリセット,擬似関連ラベルを生成する新しい自動データ構築パイプラインを提案する。 5つの異なる対象領域に対する実験により, 構築された合成データを用いた高密度検索モデルの適用により, 対象領域上での効率的な検索性能が得られた。
  論文  参考訳（メタデータ） (2023-07-06T02:59:47Z)
• DARE: Towards Robust Text Explanations in Biomedical and Healthcare Applications [54.93807822347193]
  帰属ロバスト性評価手法を与えられたドメインに適応させ、ドメイン固有の妥当性を考慮する方法を示す。 次に,DAREが特徴とする脆さを軽減するために,対人訓練とFAR訓練の2つの方法を提案する。 最後に,確立した3つのバイオメディカル・ベンチマークを用いて実験を行い,本手法を実証的に検証した。
  論文  参考訳（メタデータ） (2023-07-05T08:11:40Z)
• Feed-Forward Latent Domain Adaptation [17.71179872529747]
  本研究では,資源制約されたエッジデバイスが事前学習したモデルをローカルなデータ分布に適応させることのできる,新しい高度に実践的な問題設定について検討する。 エッジデバイスの制限を考慮すると、バックプロパゲーションを使わず、ソースデータにアクセスせずに、事前訓練されたモデルのみを使用し、フィードフォワード方式で適応することを目指している。 我々の解決策は、混合関連ターゲットデータセットを埋め込み、クロスアテンションを用いてターゲットサンプルに対する推論を動的に適応できるネットワークをメタラーニングすることである。
  論文  参考訳（メタデータ） (2022-07-15T17:37:42Z)
• f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
  教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。 領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
  論文  参考訳（メタデータ） (2021-06-21T18:21:09Z)
• Gradual Domain Adaptation via Self-Training of Auxiliary Models [50.63206102072175]
  ソースとターゲットドメイン間のギャップを増やすことで、ドメイン適応はより難しくなります。 中間領域のモデルを学習する補助モデル(AuxSelfTrain)の自己学習を提案する。 教師なしおよび半教師付きドメイン適応のベンチマークデータセットの実験は、その有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:15:25Z)
• Unsupervised Domain Adaption of Object Detectors: A Survey [87.08473838767235]
  近年のディープラーニングの進歩は、様々なコンピュータビジョンアプリケーションのための正確で効率的なモデルの開発につながっている。 高度に正確なモデルを学ぶには、大量の注釈付きイメージを持つデータセットの可用性に依存する。 このため、ラベルスカースデータセットに視覚的に異なる画像がある場合、モデルの性能は大幅に低下する。
  論文  参考訳（メタデータ） (2021-05-27T23:34:06Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
  大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。 多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。 限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
  論文  参考訳（メタデータ） (2020-09-01T00:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。