論文の概要: Explaining Interactions Between Text Spans

• arxiv url: http://arxiv.org/abs/2310.13506v1
• Date: Fri, 20 Oct 2023 13:52:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 22:45:06.199238
• Title: Explaining Interactions Between Text Spans
• Title（参考訳）: テキストスパン間のインタラクションの説明
• Authors: Sagnik Ray Choudhury, Pepa Atanasova, Isabelle Augenstein
• Abstract要約: 入力の異なる部分からのトークンのスパンに対する推論は、自然言語理解に不可欠である。 NLUタスク2つのタスク(NLIとFC)に対する人間間相互作用の説明データセットであるSpanExを紹介する。 次に,複数の微調整された大言語モデルの決定過程を,スパン間の相互接続の観点から検討する。
• 参考スコア（独自算出の注目度）: 50.70253702800355
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reasoning over spans of tokens from different parts of the input is essential for natural language understanding (NLU) tasks such as fact-checking (FC), machine reading comprehension (MRC) or natural language inference (NLI). However, existing highlight-based explanations primarily focus on identifying individual important tokens or interactions only between adjacent tokens or tuples of tokens. Most notably, there is a lack of annotations capturing the human decision-making process w.r.t. the necessary interactions for informed decision-making in such tasks. To bridge this gap, we introduce SpanEx, a multi-annotator dataset of human span interaction explanations for two NLU tasks: NLI and FC. We then investigate the decision-making processes of multiple fine-tuned large language models in terms of the employed connections between spans in separate parts of the input and compare them to the human reasoning processes. Finally, we present a novel community detection based unsupervised method to extract such interaction explanations from a model's inner workings.
• Abstract（参考訳）: 入力の異なる部分からのトークンのスパンに対する推論は、ファクトチェック(FC)、機械読解(MRC)、自然言語推論(NLI)といった自然言語理解(NLU)タスクに不可欠である。 しかし、既存のハイライトベースの説明は、主に個々の重要なトークンや、隣接するトークンやトークンのタプル間のインタラクションを特定することに焦点を当てている。 中でも注目すべきは、そのようなタスクにおいて情報的意思決定に必要な相互作用を人間の意思決定プロセスに記録するアノテーションがないことである。 このギャップを埋めるために、NLIとFCという2つのNLUタスクのための人間間相互作用説明のマルチアノテーションデータセットであるSpanExを紹介した。 次に、入力の別々の部分におけるスパン間の使用済み接続の観点から、複数の微調整された大言語モデルの意思決定過程を調査し、それらを人間の推論プロセスと比較する。 最後に,このようなインタラクションの説明をモデルの内部動作から抽出する,新しいコミュニティ検出に基づく非教師なし手法を提案する。

関連論文リスト

• Narrative Action Evaluation with Prompt-Guided Multimodal Interaction [60.281405999483]
  ナラティブ・アクション・アセスメント(NAE)は、行動の実行を評価する専門家のコメントを作成することを目的としている。 NAEは、物語の柔軟性と評価の厳格さの両方を必要とするため、より困難なタスクです。 本稿では,様々な情報モダリティ間のインタラクションを容易にするための,プロンプト誘導型マルチモーダルインタラクションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-22T17:55:07Z)
• mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view Contrastive Learning [54.523172171533645]
  CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。 言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。 40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-17T16:02:29Z)
• Coreference-aware Double-channel Attention Network for Multi-party Dialogue Reading Comprehension [7.353227696624305]
  MDRC(Multi-party Dialogue Reading)に挑戦する MDRCは、複数のインターロケータ間の対話に基づく抽出読解タスクの略である。 推論能力を高めるためのコア推論対応アテンションモデリング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T05:01:29Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• DEIM: An effective deep encoding and interaction model for sentence matching [0.0]
  本稿では,ディープエンコーディングとインタラクションに基づく文マッチング手法を提案する。 エンコーダ層では、1つの文を符号化する過程で他の文の情報を参照し、その後、アルゴリズムを用いて情報を融合する。 インタラクション層では、双方向の注意機構と自己注意機構を用いて深い意味情報を得る。
  論文  参考訳（メタデータ） (2022-03-20T07:59:42Z)
• Explaining Neural Network Predictions on Sentence Pairs via Learning Word-Group Masks [21.16662651409811]
  入力テキストペアから相関語をグループ化して単語相関を暗黙的に検出するグループマスク(GMASK)手法を提案する。 提案手法は4つのデータセットにまたがる2つの異なるモデルアーキテクチャ (decomposable attention model と bert) を用いて評価した。
  論文  参考訳（メタデータ） (2021-04-09T17:14:34Z)
• Contextual Biasing of Language Models for Speech Recognition in Goal-Oriented Conversational Agents [11.193867567895353]
  ゴール指向の会話インターフェイスは特定のタスクを達成するように設計されている。 推論時に提供されるサンプル発話にBERTから派生したコンテキスト埋め込みを利用する新しいアーキテクチャを提案する。 本実験では,目標指向音声データセットにおける非文脈発話レベルNLMレコレータに対する単語誤り率(WER)の相対的な7%の低減を示した。
  論文  参考訳（メタデータ） (2021-03-18T15:38:08Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Multi-View Sequence-to-Sequence Models with Conversational Structure for Abstractive Dialogue Summarization [72.54873655114844]
  テキスト要約は、NLPにおいて最も困難で興味深い問題の1つである。 本研究では、まず、異なる視点から構造化されていない日々のチャットの会話構造を抽出し、会話を表現するマルチビューシーケンス・ツー・シーケンスモデルを提案する。 大規模対話要約コーパスの実験により,本手法は,自動評価と人的判断の両面から,従来の最先端モデルよりも有意に優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-04T20:12:44Z)
• Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection [21.02924712220406]
  特徴的相互作用を検出することによって階層的な説明を構築する。 このような説明は、単語とフレーズが階層の異なるレベルでどのように結合されるかを視覚化する。 実験は、モデルに忠実であり、人間に解釈可能な説明を提供する上で、提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-04-04T20:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。