論文の概要: Challenges and Thrills of Legal Arguments
- arxiv url: http://arxiv.org/abs/2006.03773v1
- Date: Sat, 6 Jun 2020 03:43:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 20:57:28.953387
- Title: Challenges and Thrills of Legal Arguments
- Title(参考訳): 法的議論の挑戦とスリル
- Authors: Anurag Pallaprolu, Radha Vaidya, Aditya Swaroop Attawar
- Abstract要約: 最先端の注目に基づくモデルは、主にトランスフォーマーアーキテクチャを中心に、いわゆるスケールドドット製品アテンションを用いたシーケンス・ツー・シーケンス変換の問題を解決する。
本稿では,局所的に訓練された変換器を用いて連続的な文脈的引数生成を行う拡張HumBERTを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art attention based models, mostly centered around the
transformer architecture, solve the problem of sequence-to-sequence translation
using the so-called scaled dot-product attention. While this technique is
highly effective for estimating inter-token attention, it does not answer the
question of inter-sequence attention when we deal with conversation-like
scenarios. We propose an extension, HumBERT, that attempts to perform
continuous contextual argument generation using locally trained transformers.
- Abstract(参考訳): 最先端の注目に基づくモデルは、主にトランスフォーマーアーキテクチャを中心に、いわゆるスケールドドット製品アテンションを用いたシーケンス・ツー・シーケンス変換の問題を解決する。
この手法は,話題間注目度を推定するのに非常に有効であるが,会話のようなシナリオを扱う場合の系列間注目度の問題には答えない。
そこで我々は,局所的に学習したトランスフォーマーを用いて連続的な文脈引数生成を行う拡張であるhumbertを提案する。
関連論文リスト
- DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。
様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
論文 参考訳(メタデータ) (2024-10-07T07:21:49Z) - Ring Attention with Blockwise Transformers for Near-Infinite Context [88.61687950039662]
本稿では,複数のデバイスにまたがって長いシーケンスを分散するために,ブロックワイドな自己注意とフィードフォワードの計算を利用する,ブロックワイドトランスフォーマーを用いたリングアテンション(リングアテンション)を提案する。
提案手法では,先行メモリ効率の変換器で達成可能なものよりも,デバイス数倍のシーケンスのトレーニングと推論が可能となる。
論文 参考訳(メタデータ) (2023-10-03T08:44:50Z) - A Length-Extrapolatable Transformer [98.54835576985664]
長さ外挿、すなわち短いテキストのトレーニングに焦点をあて、長いシーケンスを評価します。
注目度を最大化するために,相対的な位置埋め込みを導入する。
言語モデルを用いてトランスフォーマーの変種を評価する。
論文 参考訳(メタデータ) (2022-12-20T18:56:20Z) - The Devil in Linear Transformer [42.232886799710215]
線形変圧器は、バニラ変圧器の二次的時空複雑性を低減することを目的としている。
通常、様々なタスクやコーパスの劣化したパフォーマンスに悩まされる。
本稿では,このような性能のギャップを生じさせる2つの重要な問題を特定する。
論文 参考訳(メタデータ) (2022-10-19T07:15:35Z) - ASSET: Autoregressive Semantic Scene Editing with Transformers at High
Resolutions [28.956280590967808]
私たちのアーキテクチャは、新しい注意機構を備えたトランスフォーマーに基づいています。
我々のキーとなる考え方は、高解像度の画像解像度で抽出された濃密な注意によって導かれる、トランスフォーマーの注意行列を高解像度でスパース化することである。
本手法の有効性を示した質的,定量的な結果とユーザスタディについて述べる。
論文 参考訳(メタデータ) (2022-05-24T17:39:53Z) - On the Locality of Attention in Direct Speech Translation [0.1749935196721634]
トランスフォーマーは複数のNLPタスクにまたがって最先端の結果を得た。
直接音声翻訳における自己注意の有用性について論じる。
論文 参考訳(メタデータ) (2022-04-19T17:43:37Z) - Progressively Guide to Attend: An Iterative Alignment Framework for
Temporal Sentence Grounding [53.377028000325424]
時間的文接地作業のための反復アライメントネットワーク(IA-Net)を提案する。
学習可能なパラメータを持つマルチモーダル特徴をパットすることで、非整合フレームワードペアの非整合問題を軽減する。
また、アライメントの知識を洗練させるために、各アライメントモジュールに従ってキャリブレーションモジュールを考案する。
論文 参考訳(メタデータ) (2021-09-14T02:08:23Z) - Generic Attention-model Explainability for Interpreting Bi-Modal and
Encoder-Decoder Transformers [78.26411729589526]
トランスフォーマーアーキテクチャによる予測を説明する最初の方法を提案する。
本手法は,一様説明性に適応した既存手法よりも優れている。
論文 参考訳(メタデータ) (2021-03-29T15:03:11Z) - Transformer Interpretability Beyond Attention Visualization [87.96102461221415]
自己保持技術、特にトランスフォーマーは、テキスト処理の分野を支配しています。
本研究では,トランスフォーマーネットワークの関連性を計算する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-12-17T18:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。