論文の概要: Can humans help BERT gain "confidence"?
- arxiv url: http://arxiv.org/abs/2309.06580v1
- Date: Thu, 31 Aug 2023 13:12:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-17 13:47:33.137100
- Title: Can humans help BERT gain "confidence"?
- Title(参考訳): 人間はBERTが「自信」を得るのに役立つか?
- Authors: Piyush Agrawal
- Abstract要約: チューリッヒ認知コーパスの認知機能と、BERTと呼ばれるトランスフォーマーベースのエンコーダモデルを統合するための新しい実験を行った。
私は、ZuCoの脳波と視線追跡機能がNLPモデルの性能向上にどのように役立つかを示します。
BERTの内部動作機構を解析し、モデル説明可能性の可能性を探る。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The advancements in artificial intelligence over the last decade have opened
a multitude of avenues for interdisciplinary research. Since the idea of
artificial intelligence was inspired by the working of neurons in the brain, it
seems pretty practical to combine the two fields and take the help of cognitive
data to train AI models. Not only it will help to get a deeper understanding of
the technology, but of the brain as well. In this thesis, I conduct novel
experiments to integrate cognitive features from the Zurich Cognitive Corpus
(ZuCo) (Hollenstein et al., 2018) with a transformer-based encoder model called
BERT. I show how EEG and eye-tracking features from ZuCo can help to increase
the performance of the NLP model. I confirm the performance increase with the
help of a robustness-checking pipeline and derive a word-EEG lexicon to use in
benchmarking on an external dataset that does not have any cognitive features
associated with it. Further, I analyze the internal working mechanism of BERT
and explore a potential method for model explainability by correlating it with
a popular model-agnostic explainability framework called LIME (Ribeiro et al.,
2016). Finally, I discuss the possible directions to take this research
forward.
- Abstract(参考訳): 過去10年間の人工知能の進歩は、学際的な研究のための様々な道を開いた。
人工知能のアイデアは脳内のニューロンの働きに触発されたため、この2つの分野を組み合わせて、認知データの助けを借りてAIモデルを訓練することは、かなり現実的だ。
この技術を深く理解するだけでなく、脳の理解を深める上でも役立つだろう。
本論文では,チューリッヒ認知コーパス(zuco, hollenstein et al., 2018)の認知的特徴をbertと呼ばれるトランスフォーマベースのエンコーダモデルと統合するための新しい実験を行う。
私は、ZuCoの脳波と視線追跡機能がNLPモデルの性能向上にどのように役立つかを示します。
堅牢性チェックパイプラインの助けを借りてパフォーマンスの向上を確認し、それに関連する認知機能を持たない外部データセットのベンチマークに使用するワードEEGレキシコンを導出します。
さらに、BERTの内部動作メカニズムを分析し、LIME(Ribeiro et al., 2016)と呼ばれる一般的なモデルに依存しない説明可能性フレームワークと関連付けてモデル説明可能性の可能性を探る。
最後に、この研究を前進させる可能性について論じる。
関連論文リスト
- Detecting AI Generated Text Based on NLP and Machine Learning Approaches [0.0]
自然言語処理の最近の進歩により、AIモデルは将来、人間が書いた書式と同一の書体を生成することができる。
これには深い倫理的、法的、社会的反感があるかもしれない。
本手法は,電子テキストと人文テキストを区別する機械学習手法を含む。
論文 参考訳(メタデータ) (2024-04-15T16:37:44Z) - Neural-Logic Human-Object Interaction Detection [67.4993347702353]
本稿では,ニューラルロジック推論を利用した新しいHOI検出器であるL OGIC HOIと,実体間の相互作用を推測するTransformerを提案する。
具体的には,バニラトランスフォーマーの自己保持機構を改変し,人間,行動,対象>三重項を推論し,新たな相互作用を構成する。
我々はこれらの2つの特性を一階述語論理で定式化し、それらを連続空間に基底にして、我々のアプローチの学習過程を制約し、性能とゼロショットの一般化能力を向上させる。
論文 参考訳(メタデータ) (2023-11-16T11:47:53Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳(メタデータ) (2023-10-14T23:28:48Z) - Incremental procedural and sensorimotor learning in cognitive humanoid
robots [52.77024349608834]
本研究は,手順を段階的に学習する認知エージェントを提案する。
各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。
結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
論文 参考訳(メタデータ) (2023-04-30T22:51:31Z) - Vygotskian Autotelic Artificial Intelligence: Language and Culture
Internalization for Human-Like AI [16.487953861478054]
本稿では,人工寿命スキル発見の探求において,新たなAIパラダイムを提案する。
我々は特に言語に焦点をあて、その構造と内容が人工エージェントにおける新しい認知機能の発展にどう役立つかに注目した。
言語と体格の相互作用から生まれる新しい人工認知機能の例を明らかにすることで、アプローチを正当化する。
論文 参考訳(メタデータ) (2022-06-02T16:35:41Z) - Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。
FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
論文 参考訳(メタデータ) (2022-01-15T03:00:27Z) - Building Human-like Communicative Intelligence: A Grounded Perspective [1.0152838128195465]
言語学習における驚くべき進歩の後、AIシステムは人間のコミュニケーション能力の重要な側面を反映しない天井に近づいたようだ。
本稿は、ナチビストと象徴的パラダイムに基づく認知にインスパイアされたAIの方向性には、現代AIの進歩を導くために必要なサブストラテジと具体性がないことを示唆する。
本稿では,「地下」言語知能構築のための具体的かつ実装可能なコンポーネントのリストを提案する。
論文 参考訳(メタデータ) (2022-01-02T01:43:24Z) - Towards Understanding Human Functional Brain Development with
Explainable Artificial Intelligence: Challenges and Perspectives [6.106661781836959]
本稿では,現在最先端のAI技術が機能的脳発達にどのような影響を及ぼすかを理解することを目的とする。
また、脳の発達過程に基づいて、どのAI技術が彼らの学習を説明する可能性が高いかについてのレビューも実施されている。
論文 参考訳(メタデータ) (2021-12-24T02:13:13Z) - KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。
提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。
我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
論文 参考訳(メタデータ) (2021-12-16T04:37:10Z) - CogAlign: Learning to Align Textual Neural Representations to Cognitive
Language Processing Signals [60.921888445317705]
自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。
我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
論文 参考訳(メタデータ) (2021-06-10T07:10:25Z) - Whole brain Probabilistic Generative Model toward Realizing Cognitive
Architecture for Developmental Robots [8.941833998120904]
人間のような統合型人工認知システム、すなわち人工知能を構築することは、人工知能と開発ロボティクスの目標の1つだ。
本稿では、確率的生成モデル(PGM)を用いて人間の認知システムを完全に反映する認知アーキテクチャの開発について述べる。
論文 参考訳(メタデータ) (2021-03-15T07:42:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。