論文の概要: Causal interventions expose implicit situation models for commonsense language understanding

• arxiv url: http://arxiv.org/abs/2306.03882v2
• Date: Wed, 7 Jun 2023 13:17:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 10:47:59.398376
• Title: Causal interventions expose implicit situation models for commonsense language understanding
• Title（参考訳）: 因果的介入は共通理解のための暗黙的状況モデルを明らかにする
• Authors: Takateru Yamakoshi, James L. McClelland, Adele E. Goldberg, Robert D. Hawkins
• Abstract要約: 我々は、一つの文脈キューがあいまいな代名詞の解釈をシフトさせるWinograd Challengeのパフォーマンスを分析する。 我々は、コンテキストワードから情報を伝達する責任を負う注目ヘッドの回路を同定する。 これらの分析は、代名詞分解を導くために暗黙の状況モデルを構築する異なる経路を示唆している。
• 参考スコア（独自算出の注目度）: 3.290878132806227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accounts of human language processing have long appealed to implicit ``situation models'' that enrich comprehension with relevant but unstated world knowledge. Here, we apply causal intervention techniques to recent transformer models to analyze performance on the Winograd Schema Challenge (WSC), where a single context cue shifts interpretation of an ambiguous pronoun. We identify a relatively small circuit of attention heads that are responsible for propagating information from the context word that guides which of the candidate noun phrases the pronoun ultimately attends to. We then compare how this circuit behaves in a closely matched ``syntactic'' control where the situation model is not strictly necessary. These analyses suggest distinct pathways through which implicit situation models are constructed to guide pronoun resolution.
• Abstract（参考訳）: 人間の言語処理のアカウントは、関連性はあるが未定の世界の知識に対する理解を深める暗黙の「situation model」に長い間訴えてきた。 本稿では,近年の変圧器モデルに因果介入手法を適用し,一文脈cueがあいまいな代名詞の解釈をシフトさせるWonograd Schema Challenge(WSC)の性能解析を行う。 我々は、代名詞が最終的に出席する候補名詞句のどれを案内する文脈語から情報を伝達する比較的小さな注意ヘッドの回路を特定する。 次に,この回路の動作を,状況モデルが厳密には必要でない‘合成’制御で比較する。 これらの分析は、代名詞分解を導くために暗黙的状況モデルが構築される異なる経路を示唆する。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Towards an Understanding of Stepwise Inference in Transformers: A Synthetic Graph Navigation Model [19.826983068662106]
  本稿では,ステップワイズ推論が一般的に有用である問題の多段階の性質を具現化した,自動回帰変換器モデルを提案する。 単純さにもかかわらず、私たちは経験的に、大規模に観察されたいくつかの現象を再現し分析することができることに気付きました。
  論文  参考訳（メタデータ） (2024-02-12T16:25:47Z)
• Contrastive Learning for Inference in Dialogue [56.20733835058695]
  推論、特に帰納的プロセスから派生したものは、私たちの会話において重要な要素です。 近年の大規模言語モデルは推論タスクにおいて顕著な進歩を見せている。 しかし、インダクティブ推論における彼らのパフォーマンスは、すべての情報がコンテキストに存在するわけではないが、インダクティブ推論よりもはるかに遅れている。
  論文  参考訳（メタデータ） (2023-10-19T04:49:36Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Explaining How Transformers Use Context to Build Predictions [0.1749935196721634]
  言語生成モデルは、以前の文脈に基づいて単語を生成する。 レイヤ全体にわたって、事前の言葉がモデルの判断にどのような影響を及ぼすかは、いまだに不明である。 本稿では,トランスフォーマーの説明可能性の最近の進歩を活用し,言語生成のためのモデル解析手法を提案する。
  論文  参考訳（メタデータ） (2023-05-21T18:29:10Z)
• Knowledge-Based Counterfactual Queries for Visual Question Answering [0.0]
  本稿では,VQAモデルの動作を説明するための系統的手法を提案する。 そこで我々は,言語的モダリティをターゲットとした決定論的,最適,制御可能な単語レベルの置換を行うために,構造化知識ベースを利用する。 次に、そのような反実的な入力に対するモデルの応答を評価する。
  論文  参考訳（メタデータ） (2023-03-05T08:00:30Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining? [25.43442712037725]
  本稿では,教師なし,議論型対話型知識の課題を克服するために,新しい伝達学習戦略を提案する。 本研究では,ChangeMyViewのサブレディットからの議論に富んだ社会的な議論を,教師なしの議論型知識の源泉として活用する。 本稿では,提案手法を補完する,コンポーネント間関係予測のための新しいプロンプトベースの戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-24T06:48:56Z)
• Discrete Reasoning Templates for Natural Language Understanding [79.07883990966077]
  我々は,複雑な質問をより単純な質問に分解する手法を提案する。 事前定義された推論テンプレートの指示に従って最終回答を導出する。 我々のアプローチは、解釈可能でありながら最先端技術と競合し、監督をほとんど必要としないことを示す。
  論文  参考訳（メタデータ） (2021-04-05T18:56:56Z)
• A Brief Survey and Comparative Study of Recent Development of Pronoun Coreference Resolution [55.39835612617972]
  PCR(Pronoun Coreference Resolution)は、プロノミナルな表現を、それらが参照するすべての言及に対して解決するタスクである。 1つの重要な自然言語理解(NLU)コンポーネントとして、代名詞分解は多くの下流タスクにおいて不可欠であり、既存のモデルでは依然として困難である。 我々は、現在のモデルが標準評価セットで優れたパフォーマンスを達成しているにもかかわらず、実際のアプリケーションで使用する準備ができていないことを示すために、広範な実験を行っている。
  論文  参考訳（メタデータ） (2020-09-27T01:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。