論文の概要: Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention

• arxiv url: http://arxiv.org/abs/2112.03254v1
• Date: Mon, 6 Dec 2021 18:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 13:50:07.931813
• Title: Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention
• Title（参考訳）: CommonsenseQAにおける人間親 : 外部意識による自己意識の増強
• Authors: Yichong Xu, Chenguang Zhu, Shuohang Wang, Siqi Sun, Hao Cheng, Xiaodong Liu, Jianfeng Gao, Pengcheng He, Michael Zeng, Xuedong Huang
• Abstract要約: 本稿では,外部の知識や状況に配慮した外部アテンション機構を備えたトランスフォーマーアーキテクチャの強化を提案する。 提案した外部注意機構は,既存のAIシステムの性能を大幅に向上させることができる。 提案システムは、オープンなCommonsenseQA研究ベンチマークにおいて、89.4%の精度で人間に匹敵する88.9%の精度で人間に匹敵する。
• 参考スコア（独自算出の注目度）: 66.93307963324834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most of today's AI systems focus on using self-attention mechanisms and transformer architectures on large amounts of diverse data to achieve impressive performance gains. In this paper, we propose to augment the transformer architecture with an external attention mechanism to bring external knowledge and context to bear. By integrating external information into the prediction process, we hope to reduce the need for ever-larger models and increase the democratization of AI systems. We find that the proposed external attention mechanism can significantly improve the performance of existing AI systems, allowing practitioners to easily customize foundation AI models to many diverse downstream applications. In particular, we focus on the task of Commonsense Reasoning, demonstrating that the proposed external attention mechanism can augment existing transformer models and significantly improve the model's reasoning capabilities. The proposed system, Knowledge External Attention for Reasoning (KEAR), reaches human parity on the open CommonsenseQA research benchmark with an accuracy of 89.4\% in comparison to the human accuracy of 88.9\%.
• Abstract（参考訳）: 今日のaiシステムのほとんどは、多数の多様なデータに自己着脱機構とトランスフォーマーアーキテクチャを使用することに重点を置いている。 本稿では,外部の知識や状況に配慮した外部アテンション機構を備えたトランスフォーマーアーキテクチャの強化を提案する。 外部情報を予測プロセスに統合することで、より大規模なモデルの必要性を減らし、AIシステムの民主化を促進したいと考えています。 提案する外部注意機構は,既存のaiシステムの性能を著しく向上させ,さまざまな下流アプリケーションに対して,基礎となるaiモデルを容易にカスタマイズできる。 特に,提案する外部注意機構が既存のトランスフォーマーモデルを強化し,モデルの推論能力を大幅に向上できることを実証し,常識推論の課題に焦点を当てた。 提案システムであるknowledge external attention for reasoning (kear) は,open commonsenseqa research benchmark において89.4\%の精度で人間のパリティに達した。

関連論文リスト

• Planning-Aware Diffusion Networks for Enhanced Motion Forecasting in Autonomous Driving [0.0]
  Planning-Integrated Forecasting Model (PIFM)は、脳における意思決定とマルチエージェント協調を管理する神経機構にインスパイアされた新しいフレームワークである。 PIFMはシナリオ内の全てのエージェントの将来の軌跡を予測することができる。 このアーキテクチャは、外部刺激やその他のエージェントの行動に基づいた予測を動的に調整する脳の手法と平行して、モデルの透明性を高める。
  論文  参考訳（メタデータ） (2024-10-25T15:44:51Z)
• To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems [11.690126756498223]
  最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。 実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
  論文  参考訳（メタデータ） (2024-09-22T09:43:27Z)
• From Cognition to Computation: A Comparative Review of Human Attention and Transformer Architectures [1.5266118210763295]
  トランスフォーマーアーキテクチャのような人工知能の最近の発展は、モデル設計における注意の考え方を取り入れている。 本研究の目的は,認知機能の観点から,これらのメカニズムの比較分析を行うことである。
  論文  参考訳（メタデータ） (2024-04-25T05:13:38Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
  オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。 我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
  論文  参考訳（メタデータ） (2022-05-05T05:44:26Z)
• KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
  我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。 提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。 我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
  論文  参考訳（メタデータ） (2021-12-16T04:37:10Z)
• AutonoML: Towards an Integrated Framework for Autonomous Machine Learning [9.356870107137095]
  Reviewは、自動化された自動MLシステムを構成するものに関して、より広範な視点を動機付けようとしている。 その上で、以下の研究領域の開発状況を調査します。 我々は、各トピックによって拡張されたレビューを通して概念的枠組みを開発し、高レベルなメカニズムを自律mlシステムに融合する方法を1つ紹介する。
  論文  参考訳（メタデータ） (2020-12-23T11:01:10Z)
• Attention that does not Explain Away [54.42960937271612]
  Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。 Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。 本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。