論文の概要: When Only Time Will Tell: Interpreting How Transformers Process Local
Ambiguities Through the Lens of Restart-Incrementality
- arxiv url: http://arxiv.org/abs/2402.13113v1
- Date: Tue, 20 Feb 2024 16:09:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 14:28:57.850974
- Title: When Only Time Will Tell: Interpreting How Transformers Process Local
Ambiguities Through the Lens of Restart-Incrementality
- Title(参考訳): トランスフォーマーがいかにローカルな曖昧さを、再スタート・インクリメンタリティのレンズで処理するか
- Authors: Brielen Madureira, Patrick Kahardipraja, David Schlangen
- Abstract要約: 因果的モデルは1つの解釈を出力して継続せざるを得ないが、修正可能なモデルはあいまいさが解決されるにつれて、以前の出力を編集することができる。
本研究では、再起動・インクリメンタルトランスフォーマーが内部状態を構築・更新する方法について検討し、自動回帰モデルではリビジョンが不可能なプロセスが何を引き起こすかを明らかにする。
- 参考スコア(独自算出の注目度): 21.470003739355082
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Incremental models that process sentences one token at a time will sometimes
encounter points where more than one interpretation is possible. Causal models
are forced to output one interpretation and continue, whereas models that can
revise may edit their previous output as the ambiguity is resolved. In this
work, we look at how restart-incremental Transformers build and update internal
states, in an effort to shed light on what processes cause revisions not viable
in autoregressive models. We propose an interpretable way to analyse the
incremental states, showing that their sequential structure encodes information
on the garden path effect and its resolution. Our method brings insights on
various bidirectional encoders for contextualised meaning representation and
dependency parsing, contributing to show their advantage over causal models
when it comes to revisions.
- Abstract(参考訳): 1つのトークンを一度に処理するインクリメンタルモデルでは、複数の解釈が可能なポイントに遭遇することがある。
因果モデルは1つの解釈を出力し続けなければならないが、修正可能なモデルは曖昧さが解消されたときに以前の出力を編集することができる。
本稿では,リビジョンが自己回帰モデルでは実行不可能となるプロセスを明らかにするため,リスタート・インクリメンタルトランスフォーマーが内部状態を構築して更新する方法について検討する。
そこで本研究では,その逐次構造がガーデンパス効果とその分解能に関する情報をエンコードしていることを示す,インクリメンタルな状態を分析するための解釈可能な方法を提案する。
提案手法は,文脈的意味表現と依存性解析のための多種多様な双方向エンコーダの洞察を導き,リビジョンにおける因果モデルに対する優位性を示す。
関連論文リスト
- Corner-to-Center Long-range Context Model for Efficient Learned Image
Compression [70.0411436929495]
学習された画像圧縮のフレームワークでは、コンテキストモデルは潜在表現間の依存関係をキャプチャする上で重要な役割を果たす。
本研究では,textbfCorner-to-Center 変換器を用いたコンテキストモデル (C$3$M) を提案する。
また,解析および合成変換における受容場を拡大するために,エンコーダ/デコーダのLong-range Crossing Attention Module (LCAM) を用いる。
論文 参考訳(メタデータ) (2023-11-29T21:40:28Z) - Counterfactuals of Counterfactuals: a back-translation-inspired approach
to analyse counterfactual editors [3.4253416336476246]
我々は、反事実的、対照的な説明の分析に焦点をあてる。
本稿では,新しい逆翻訳に基づく評価手法を提案する。
本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
論文 参考訳(メタデータ) (2023-05-26T16:04:28Z) - Dynamic Context Pruning for Efficient and Interpretable Autoregressive
Transformers [18.963110713461045]
本稿では,モデル表現性を保ちながら文脈情報を動的に生成する手法を提案する。
本手法では,文脈からどの非形式的トークンをドロップできるかを学習可能なメカニズムを用いて決定する。
我々の参照実装は、推論スループットの増大とメモリの節約を最大2ドルまで達成します。
論文 参考訳(メタデータ) (2023-05-25T07:39:41Z) - What Are You Token About? Dense Retrieval as Distributions Over the
Vocabulary [68.77983831618685]
本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。
得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
論文 参考訳(メタデータ) (2022-12-20T16:03:25Z) - OCTET: Object-aware Counterfactual Explanations [29.532969342297086]
対物的説明生成のためのオブジェクト指向フレームワークを提案する。
近年のジェネレーティブ・モデリングの成果に触発された本手法では,オブジェクトレベルの操作を容易にするために,クエリイメージを潜在空間に符号化する。
そこで本研究では,シーンを駆動する反実的説明ベンチマークの一連の実験を行い,本手法が分類を超えて適用可能であることを示す。
論文 参考訳(メタデータ) (2022-11-22T16:23:12Z) - IA-RED$^2$: Interpretability-Aware Redundancy Reduction for Vision
Transformers [81.31885548824926]
自己注意型モデルであるTransformerは近年,コンピュータビジョン分野における主要なバックボーンになりつつある。
解釈可能性を考慮した冗長度低減フレームワーク(IA-RED$2$)を提案する。
画像タスクとビデオタスクの両方で広範囲に実験を行い、最大1.4倍のスピードアップを実現しました。
論文 参考訳(メタデータ) (2021-06-23T18:29:23Z) - Recoding latent sentence representations -- Dynamic gradient-based
activation modification in RNNs [0.0]
RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。
勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。
言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
論文 参考訳(メタデータ) (2021-01-03T17:54:17Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - VisBERT: Hidden-State Visualizations for Transformers [66.86452388524886]
VisBERTは,複数の質問応答のタスクに対して,BERT内のコンテキストトークン表現を可視化するツールである。
VisBERTは、モデルの内部状態に関する洞察を得て、推論ステップや潜在的な欠点を探索することを可能にする。
論文 参考訳(メタデータ) (2020-11-09T15:37:43Z) - Back to the Future: Unsupervised Backprop-based Decoding for
Counterfactual and Abductive Commonsense Reasoning [79.48769764508006]
ジェネレーティブ言語モデル(LM)は、過去の文脈のみを条件にするか、狭い範囲のテキスト入力を実行するよう訓練することができる。
我々は過去と将来の両方の文脈を柔軟に組み込むことができる新しい教師なし復号アルゴリズムであるDeLoreanを提案する。
提案手法は, 帰納的テキスト生成と反事実的ストーリーリビジョンの2つの非単調推論タスクに適用可能であることを示す。
論文 参考訳(メタデータ) (2020-10-12T17:58:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。