論文の概要: Monotonic Location Attention for Length Generalization
- arxiv url: http://arxiv.org/abs/2305.20019v1
- Date: Wed, 31 May 2023 16:48:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 15:13:20.759563
- Title: Monotonic Location Attention for Length Generalization
- Title（参考訳）: 長さ一般化のための単調位置注意
- Authors: Jishnu Ray Chowdhury, Cornelia Caragea
- Abstract要約: 元の表現と逆表現を相対的な注意と組み合わせて補間する簡単なアプローチは、ほぼ完全な長さの一般化を可能にすることを示す。
また、理想的な注意位置の相対的距離が時間経過とともに変化するような、より困難な診断タスクも考案する。
- 参考スコア（独自算出の注目度）: 54.958581892688095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We explore different ways to utilize position-based cross-attention in
seq2seq networks to enable length generalization in algorithmic tasks. We show
that a simple approach of interpolating the original and reversed encoded
representations combined with relative attention allows near-perfect length
generalization for both forward and reverse lookup tasks or copy tasks that had
been generally hard to tackle. We also devise harder diagnostic tasks where the
relative distance of the ideal attention position varies with timestep. In such
settings, the simple interpolation trick with relative attention is not
sufficient. We introduce novel variants of location attention building on top
of Dubois et al. (2020) to address the new diagnostic tasks. We also show the
benefits of our approaches for length generalization in SCAN (Lake & Baroni,
2018) and CFQ (Keysers et al., 2020). Our code is available on GitHub.
- Abstract（参考訳）: seq2seqネットワークにおける位置ベースのクロスアテンションを利用して,アルゴリズムタスクにおける長さ汎化を実現するための様々な方法を検討する。
提案手法では,元と逆のエンコード表現と相対的な注意を組み合わさって,前と逆のルックアップタスクのほぼ完全な長さの一般化や,一般に対処が困難であったタスクのコピーを可能にする。
また, 理想的注意位置の相対距離が時間ステップによって異なる難易度診断タスクを考案する。
このような設定では、比較的注意深い単純な補間トリックは不十分である。
我々は,新しい診断課題に対処するために,dubois et al. (2020) 上に位置注意構築の新たな変種を導入する。
また,SCAN (Lake & Baroni, 2018) とCFQ (Keysers et al., 2020) における長さ一般化のアプローチの利点を示す。
コードはgithubから入手できます。
関連論文リスト
- Rethinking Transformer for Long Contextual Histopathology Whole Slide Image Analysis [9.090504201460817]
ヒストホイルスライド画像(英語版)(WSI)解析は、医師の日常業務における臨床がん診断のゴールドスタンダードとなっている。
従来の手法では、スライドレベルラベルのみを与えられたスライドレベルの予測を可能にするために、マルチパスラーニングが一般的であった。
大規模なWSIにおける長いシーケンスの計算複雑性を軽減するため、HIPTではリージョンスライシング、TransMILでは完全な自己アテンションの近似を採用している。
論文 参考訳（メタデータ） (2024-10-18T06:12:36Z) - AANet: Aggregation and Alignment Network with Semi-hard Positive Sample
Mining for Hierarchical Place Recognition [48.043749855085025]
視覚的位置認識(VPR)はロボット工学におけるホットスポットの一つで、視覚情報を用いてロボットの位置を特定する。
本稿では,アグリゲーションモジュールを介して候補を検索するためのグローバルな特徴を抽出できる統一ネットワークを提案する。
また、より堅牢なVPRネットワークをトレーニングするために、適切なハード正のイメージを選択するためのセミハード正のサンプルマイニング(ShPSM)戦略を提案する。
論文 参考訳（メタデータ） (2023-10-08T14:46:11Z) - Scalable Multi-agent Covering Option Discovery based on Kronecker Graphs [49.71319907864573]
本稿では,分解が容易なマルチエージェントスキル発見法を提案する。
我々のキーとなる考え方は、合同状態空間をクロネッカーグラフとして近似することであり、そのフィドラーベクトルを直接見積もることができる。
ラプラシアンスペクトルを直接計算することは、無限大の状態空間を持つタスクには難易度が高いことを考慮し、さらに本手法の深層学習拡張を提案する。
論文 参考訳（メタデータ） (2023-07-21T14:53:12Z) - Rethinking Query-Key Pairwise Interactions in Vision Transformers [5.141895475956681]
本稿では,問合せキーの対の相互作用を排除し,注意重みを求めるために計算効率の高い相性ゲートを用いるキーオンリーの注意を提案する。
我々は、ImageNet分類ベンチマークのパラメータ限定設定において、最先端の精度に達する新しい自己注意モデルファミリーLinGlosを開発した。
論文 参考訳（メタデータ） (2022-07-01T03:36:49Z) - GraftNet: Towards Domain Generalized Stereo Matching with a
Broad-Spectrum and Task-Oriented Feature [2.610470075814367]
ドメインシフトに対処するために、大規模データセットでトレーニングされたモデルの特徴を活用することを提案する。
コサインの類似性に基づくコストボリュームをブリッジとして、通常のコストアグリゲーションモジュールに移植する。
実験により、この広スペクトルおよびタスク指向機能によりモデル一般化能力を著しく改善できることが示されている。
論文 参考訳（メタデータ） (2022-04-01T03:10:04Z) - Stratified Transformer for 3D Point Cloud Segmentation [89.9698499437732]
Stratified Transformerは、長距離コンテキストをキャプチャし、強力な一般化能力と高性能を示す。
不規則な点配置によって引き起こされる課題に対処するために,局所情報を集約する第1層点埋め込みを提案する。
S3DIS, ScanNetv2およびShapeNetPartデータセットにおける本手法の有効性と優位性を示す実験を行った。
論文 参考訳（メタデータ） (2022-03-28T05:35:16Z) - Anchor-Free Person Search [127.88668724345195]
パーソンサーチ(person search)は、クエリーの人物を同時にローカライズし、特定することを目的としている。
既存の作品の多くはfaster-rcnnのような2段検出器を採用しており、精度は高いが計算オーバーヘッドは高い。
この課題に効率的に取り組む最初のアンカーフリーフレームワークであるFeature-Aligned Person Search Network(AlignPS)を紹介します。
論文 参考訳（メタデータ） (2021-03-22T07:04:29Z) - Graph Attention Tracking [76.19829750144564]
汎用オブジェクト追跡のための簡易な目標認識型シームズグラフアテンションネットワークを提案する。
GOT-10k、UAV123、TB-100、LaSOTといった挑戦的なベンチマークの実験は、提案されたSiamGATが最先端のトラッカーよりも優れていることを示した。
論文 参考訳（メタデータ） (2020-11-23T04:26:45Z) - DiSCO: Differentiable Scan Context with Orientation [13.797651328615347]
そこで我々は、LiDARに基づく位置認識手法、DiSCO(diffariable Scan Context with Orientation)を提案する。
同時にスキャンを同じ場所で見つけ、相対的な向きを推定する。
DiSCOは長期の屋外条件を持つ3つのデータセットで検証される。
論文 参考訳（メタデータ） (2020-10-21T12:38:21Z) - Sparse Graphical Memory for Robust Planning [93.39298821537197]
スパースメモリに状態と実現可能な遷移を格納する新しいデータ構造であるスパースグラフィカルメモリ(SGM)を導入する。
SGMは、ゴール条件付きRLに古典的状態集約基準を適用し、新しい双方向整合目標に従って状態を集約する。
本研究では, SGM が, 遠近法, スパース・リワード視覚ナビゲーションタスクにおいて, 最先端の工法を著しく上回っていることを示す。
論文 参考訳（メタデータ） (2020-03-13T17:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。