論文の概要: ABNIRML: Analyzing the Behavior of Neural IR Models

• arxiv url: http://arxiv.org/abs/2011.00696v1
• Date: Mon, 2 Nov 2020 03:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 12:33:17.188574
• Title: ABNIRML: Analyzing the Behavior of Neural IR Models
• Title（参考訳）: ABNIRML:ニューラルIRモデルの挙動解析
• Authors: Sean MacAvaney, Sergey Feldman, Nazli Goharian, Doug Downey, Arman Cohan
• Abstract要約: ニューラルIRモードL(ABNIRML)の挙動解析のための新しいフレームワークを提案する。 我々は、ニューラルネットワークの利得に寄与する要因についての洞察を得るための実証的研究を行う。 近年のニューラルランキングモデルは,従来のランキングモデルと根本的に異なる特徴を持つことがわかった。
• 参考スコア（独自算出の注目度）: 45.74073795558624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous studies have demonstrated the effectiveness of pretrained contextualized language models such as BERT and T5 for ad-hoc search. However, it is not well-understood why these methods are so effective, what makes some variants more effective than others, and what pitfalls they may have. We present a new comprehensive framework for Analyzing the Behavior of Neural IR ModeLs (ABNIRML), which includes new types of diagnostic tests that allow us to probe several characteristics---such as sensitivity to word order---that are not addressed by previous techniques. To demonstrate the value of the framework, we conduct an extensive empirical study that yields insights into the factors that contribute to the neural model's gains, and identify potential unintended biases the models exhibit. We find evidence that recent neural ranking models have fundamentally different characteristics from prior ranking models. For instance, these models can be highly influenced by altered document word order, sentence order and inflectional endings. They can also exhibit unexpected behaviors when additional content is added to documents, or when documents are expressed with different levels of fluency or formality. We find that these differences can depend on the architecture and not just the underlying language model.
• Abstract（参考訳）: BERT や T5 のような事前訓練された文脈言語モデルがアドホック検索に有効であることを示す研究が数多くある。 しかし、なぜこれらの方法がこれほど効果的なのか、なぜ他の方法よりも効果が高いのか、またどのような落とし穴があるのかはよく理解されていない。 本稿では,従来の手法では対応していない単語順に対する感度など,いくつかの特徴を探索可能な新しいタイプの診断テストを含む,ニューラルirモデル(abnirml)の挙動解析のための新しい包括的フレームワークを提案する。 フレームワークの価値を示すために、神経モデルの利益に寄与する要因についての洞察を与え、モデルが提示する意図しないバイアスを識別する、広範な実証研究を行う。 近年のニューラルランキングモデルが,先行するランキングモデルと根本的に異なる特徴を持つことを示す。 例えば、これらのモデルは、変化した文書語順、文順、および屈折端の影響を受けやすい。 また、ドキュメントに追加のコンテンツを追加したり、文書が異なる流動性や形式性で表現されたりするときに予期せぬ振る舞いを示すこともできる。 これらの違いは、基礎となる言語モデルだけでなく、アーキテクチャにも依存します。

関連論文リスト

• Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
  きめ細かい評価のための新しいアプローチを導入する。 テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。 きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
  論文  参考訳（メタデータ） (2024-10-16T09:42:29Z)
• A generative framework to bridge data-driven models and scientific theories in language neuroscience [84.76462599023802]
  脳内の言語選択性の簡潔な説明を生成するためのフレームワークである生成的説明媒介バリデーションを提案する。 本研究では,説明精度が基礎となる統計モデルの予測力と安定性と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2024-10-01T15:57:48Z)
• Longer Fixations, More Computation: Gaze-Guided Recurrent Neural Networks [12.57650361978445]
  人間はさまざまなペースでテキストを読み、機械学習モデルはそれぞれのトークンを同じように扱う。 本稿では,この直感を固定誘導並列RNNやレイヤを用いた新しいモデルに変換する。 興味深いことに、ニューラルネットワークによって予測される固定期間は、人間の固定と多少似ている。
  論文  参考訳（メタデータ） (2023-10-31T21:32:11Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
  トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。 BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。 特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
  論文  参考訳（メタデータ） (2021-09-10T12:13:45Z)
• On the Lack of Robust Interpretability of Neural Text Classifiers [14.685352584216757]
  本研究では,事前学習したトランスフォーマーエンコーダをベースとしたニューラルテキスト分類器の解釈の堅牢性を評価する。 どちらのテストも、期待された行動から驚くほど逸脱しており、実践者が解釈から引き出す可能性のある洞察の程度について疑問を呈している。
  論文  参考訳（メタデータ） (2021-06-08T18:31:02Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。