論文の概要: Which Neurons Matter in IR? Applying Integrated Gradients-based Methods to Understand Cross-Encoders

• arxiv url: http://arxiv.org/abs/2406.19309v2
• Date: Fri, 05 Jul 2024 15:48:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 21:11:27.687624
• Title: Which Neurons Matter in IR? Applying Integrated Gradients-based Methods to Understand Cross-Encoders
• Title（参考訳）: IRのどのニューロンが重要なのか? クロスエンコーダの理解のための統合的グラディエンス法の適用
• Authors: Mathias Vast, Basile Van Cooten, Laure Soulier, Benjamin Piwowarski,
• Abstract要約: 本稿では、個々のニューロンの役割を特定するために、情報検索コンテキストにおいて、統合的グラディエントに基づく手法を適用する可能性について検討する。 我々は、私たちが「関連性」ニューロンと呼ぶものの役割と、それらが目に見えないデータを扱う方法についての新しい洞察を提供する。
• 参考スコア（独自算出の注目度）: 11.192264101562786
• License:
• Abstract: With the recent addition of Retrieval-Augmented Generation (RAG), the scope and importance of Information Retrieval (IR) has expanded. As a result, the importance of a deeper understanding of IR models also increases. However, interpretability in IR remains under-explored, especially when it comes to the models' inner mechanisms. In this paper, we explore the possibility of adapting Integrated Gradient-based methods in an IR context to identify the role of individual neurons within the model. In particular, we provide new insights into the role of what we call "relevance" neurons, as well as how they deal with unseen data. Finally, we carry out an in-depth pruning study to validate our findings.
• Abstract（参考訳）: 近年、RAG(Retrieval-Augmented Generation)が追加され、IR(Information Retrieval)のスコープと重要性が拡大している。 その結果、赤外線モデルに対する深い理解の重要性も増大した。 しかし、IRの解釈性は、特にモデルの内部メカニズムに関して、未解明のままである。 本稿では、IRコンテキストにおける統合グラディエント法の適用可能性について検討し、モデル内の個々のニューロンの役割を同定する。 特に、私たちが「関連性」ニューロンと呼ぶものの役割と、それらが目に見えないデータを扱う方法についての新しい洞察を提供する。 最後に, 詳細なプルーニング実験を行い, 得られた知見を検証した。

関連論文リスト

• Machine Learning on Dynamic Functional Connectivity: Promise, Pitfalls, and Interpretations [7.013079422694949]
  機能神経画像の深部モデル設計のための実証的ガイドラインの確立を目指す。 fMRIを用いた認知的タスク認識と疾患診断におけるSOTA(State-of-the-arts)のパフォーマンスはどのようなものか? 以上の課題に対処するため,様々な場面で総合的な評価と統計的分析を行った。
  論文  参考訳（メタデータ） (2024-09-17T17:24:17Z)
• Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective [111.58315434849047]
  ニューラルネットワーク検索モデル(IR)モデルの堅牢性は、大きな注目を集めている。 我々は、IRの堅牢性を多面的概念とみなし、敵攻撃、アウト・オブ・ディストリビューション(OOD)シナリオ、パフォーマンスのばらつきに対してその必要性を強調している。 我々は,既存の手法,データセット,評価指標について詳細な議論を行い,大規模言語モデルの時代における課題や今後の方向性に光を当てる。
  論文  参考訳（メタデータ） (2024-07-09T16:07:01Z)
• A Systematic Review of Deep Learning-based Research on Radiology Report Generation [19.36297532792359]
  ラジオグラフィーレポート生成(RRG)は、臨床ラジオグラフィーから自由テキスト記述を自動的に生成することを目的としている。 RRGの研究は過去半年で爆発的な成長を遂げている。
  論文  参考訳（メタデータ） (2023-11-23T20:52:44Z)
• Large Language Models for Information Retrieval: A Survey [58.30439850203101]
  情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。 LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
  論文  参考訳（メタデータ） (2023-08-14T12:47:22Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Continual Learning of Long Topic Sequences in Neural Information Retrieval [2.3846478553599098]
  まず,MSMarcoコーパスに基づいて,トピックの長いストリームをモデル化するデータセットを提案する。 次に、これらのストリームを継続的に学習しながら、最近のニューラルIRモデルの能力を詳細に分析する。
  論文  参考訳（メタデータ） (2022-01-10T14:19:09Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
  因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。 純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
  論文  参考訳（メタデータ） (2021-03-26T02:42:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。