論文の概要: How Language Models Prioritize Contextual Grammatical Cues?

• arxiv url: http://arxiv.org/abs/2410.03447v1
• Date: Fri, 4 Oct 2024 14:09:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 22:09:37.911481
• Title: How Language Models Prioritize Contextual Grammatical Cues?
• Title（参考訳）: 言語モデルはどのように文脈文法的キューを優先するか?
• Authors: Hamidreza Amirzadeh, Afra Alishahi, Hosein Mohebbi,
• Abstract要約: 複数のジェンダーキュー語が存在する場合、言語モデルがジェンダー合意をどのように扱うかを検討する。 この結果から,エンコーダベースのモデルとデコーダベースのモデルでは,予測にコンテキスト情報を優先し,使用する方法に顕著な違いが認められた。
• 参考スコア（独自算出の注目度）: 3.9790222241649587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based language models have shown an excellent ability to effectively capture and utilize contextual information. Although various analysis techniques have been used to quantify and trace the contribution of single contextual cues to a target task such as subject-verb agreement or coreference resolution, scenarios in which multiple relevant cues are available in the context remain underexplored. In this paper, we investigate how language models handle gender agreement when multiple gender cue words are present, each capable of independently disambiguating a target gender pronoun. We analyze two widely used Transformer-based models: BERT, an encoder-based, and GPT-2, a decoder-based model. Our analysis employs two complementary approaches: context mixing analysis, which tracks information flow within the model, and a variant of activation patching, which measures the impact of cues on the model's prediction. We find that BERT tends to prioritize the first cue in the context to form both the target word representations and the model's prediction, while GPT-2 relies more on the final cue. Our findings reveal striking differences in how encoder-based and decoder-based models prioritize and use contextual information for their predictions.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは、文脈情報を効果的に捉え、活用する優れた能力を示している。 主観的コンセンサスやコア参照解決など,対象タスクに対する単一コンテキストキューの寄与を定量化し,追跡するために,さまざまな分析手法が用いられているが,そのコンテキスト内で複数の関連キューが利用可能となるシナリオはいまだ検討されていない。 本稿では,複数のジェンダーキュー語が存在する場合の言語モデルによるジェンダー合意の扱いについて検討し,それぞれが対象のジェンダー代名詞を独立に曖昧にすることができることを示す。 我々は、エンコーダベースであるBERTとデコーダベースモデルであるGPT-2の2つの広く使われているトランスフォーマーモデルを分析する。 我々の分析では、モデル内の情報の流れを追跡するコンテキスト混合分析と、モデルの予測に対するキューの影響を測定するアクティベーションパッチングという2つの相補的なアプローチを採用している。 GPT-2は最終のキューに依存しているのに対し、BERTはターゲットの単語表現とモデルの予測の両方を形成するために、コンテキストの最初のキューを優先順位付けする傾向にある。 この結果から,エンコーダベースのモデルとデコーダベースのモデルでは,予測にコンテキスト情報を優先し,使用する方法に顕著な違いが認められた。

関連論文リスト

• To token or not to token: A Comparative Study of Text Representations for Cross-Lingual Transfer [23.777874316083984]
  ゼロショットと少数ショットの両方の評価を重み付けして表現できるスコアリング言語クオシアン計量を提案する。 解析の結果,言語が密接に関連し,視覚的に類似したスクリプトを共有する場合,画像ベースモデルは言語間移動に優れることがわかった。 単語関係が重要な役割を果たす依存性解析タスクでは、キャラクタレベルに焦点を当てたモデルが他よりも優れています。
  論文  参考訳（メタデータ） (2023-10-12T06:59:10Z)
• Visual Comparison of Language Model Adaptation [55.92129223662381]
  アダプタは、モデル適応のための軽量な代替品です。 本稿では,インタラクティブな視覚的説明手法について,いくつかの設計と代替案について論じる。 例えば、文脈0の埋め込みに従って言語脱バイアスタスクを訓練したアダプタが、新しいタイプのバイアスをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-08-17T09:25:28Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
  本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。 我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。 本手法は, 客観的評価では3位, 最終公式評価では2位である。
  論文  参考訳（メタデータ） (2022-03-08T12:26:57Z)
• Exploring Multi-Modal Representations for Ambiguity Detection & Coreference Resolution in the SIMMC 2.0 Challenge [60.616313552585645]
  会話型AIにおける効果的なあいまいさ検出と参照解決のためのモデルを提案する。 具体的には,TOD-BERTとLXMERTをベースとしたモデルを用いて,多数のベースラインと比較し,アブレーション実験を行う。 以上の結果から,(1)言語モデルでは曖昧さを検出するためにデータの相関を活用でき,(2)言語モデルではビジョンコンポーネントの必要性を回避できることがわかった。
  論文  参考訳（メタデータ） (2022-02-25T12:10:02Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Leveraging recent advances in Pre-Trained Language Models forEye-Tracking Prediction [0.0]
  Natural Language Pro-cessingは、視線追跡データなどの人間由来の行動データを使用してニューラルネットを強化し、構文とセマンティクスにまたがるさまざまなタスクを解決する。 本稿では、ZuCo 1.0とZuCo 2.0データセットを用いて、異なる言語モデルを探り、各単語について、その意味について、これらの用語の特徴を直接予測する。
  論文  参考訳（メタデータ） (2021-10-09T06:46:48Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)
• Analysis of Predictive Coding Models for Phonemic Representation Learning in Small Datasets [0.0]
  本研究では,音素識別タスクにおける2つの予測符号化モデル,自動回帰予測符号化とコントラスト予測符号化の挙動について検討した。 実験の結果, 自己回帰損失と音素識別スコアとの間には, 強い相関関係が認められた。 CPCモデルは、トレーニングデータを渡した後既に急速に収束しており、平均すると、その表現は両方の言語でのAPCよりも優れています。
  論文  参考訳（メタデータ） (2020-07-08T15:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。