論文の概要: Can humans help BERT gain "confidence"?
- arxiv url: http://arxiv.org/abs/2309.06580v1
- Date: Thu, 31 Aug 2023 13:12:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-17 13:47:33.137100
- Title: Can humans help BERT gain "confidence"?
- Title（参考訳）: 人間はBERTが「自信」を得るのに役立つか?
- Authors: Piyush Agrawal
- Abstract要約: チューリッヒ認知コーパスの認知機能と、BERTと呼ばれるトランスフォーマーベースのエンコーダモデルを統合するための新しい実験を行った。
私は、ZuCoの脳波と視線追跡機能がNLPモデルの性能向上にどのように役立つかを示します。
BERTの内部動作機構を解析し、モデル説明可能性の可能性を探る。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The advancements in artificial intelligence over the last decade have opened
a multitude of avenues for interdisciplinary research. Since the idea of
artificial intelligence was inspired by the working of neurons in the brain, it
seems pretty practical to combine the two fields and take the help of cognitive
data to train AI models. Not only it will help to get a deeper understanding of
the technology, but of the brain as well. In this thesis, I conduct novel
experiments to integrate cognitive features from the Zurich Cognitive Corpus
(ZuCo) (Hollenstein et al., 2018) with a transformer-based encoder model called
BERT. I show how EEG and eye-tracking features from ZuCo can help to increase
the performance of the NLP model. I confirm the performance increase with the
help of a robustness-checking pipeline and derive a word-EEG lexicon to use in
benchmarking on an external dataset that does not have any cognitive features
associated with it. Further, I analyze the internal working mechanism of BERT
and explore a potential method for model explainability by correlating it with
a popular model-agnostic explainability framework called LIME (Ribeiro et al.,
2016). Finally, I discuss the possible directions to take this research
forward.
- Abstract（参考訳）: 過去10年間の人工知能の進歩は、学際的な研究のための様々な道を開いた。
人工知能のアイデアは脳内のニューロンの働きに触発されたため、この2つの分野を組み合わせて、認知データの助けを借りてAIモデルを訓練することは、かなり現実的だ。
この技術を深く理解するだけでなく、脳の理解を深める上でも役立つだろう。
本論文では,チューリッヒ認知コーパス(zuco, hollenstein et al., 2018)の認知的特徴をbertと呼ばれるトランスフォーマベースのエンコーダモデルと統合するための新しい実験を行う。
私は、ZuCoの脳波と視線追跡機能がNLPモデルの性能向上にどのように役立つかを示します。
堅牢性チェックパイプラインの助けを借りてパフォーマンスの向上を確認し、それに関連する認知機能を持たない外部データセットのベンチマークに使用するワードEEGレキシコンを導出します。
さらに、BERTの内部動作メカニズムを分析し、LIME(Ribeiro et al., 2016)と呼ばれる一般的なモデルに依存しない説明可能性フレームワークと関連付けてモデル説明可能性の可能性を探る。
最後に、この研究を前進させる可能性について論じる。
関連論文リスト
- AI Readiness in Healthcare through Storytelling XAI [0.5120567378386615]
我々は,マルチタスク蒸留と解釈可能性技術を組み合わせて,聴衆中心の説明可能性を実現する手法を開発した。
我々の手法は、責任あるAIを実現するために、ドメインエキスパートと機械学習エキスパートの両方の信頼を高める。
論文 参考訳（メタデータ） (2024-10-24T13:30:18Z) - MindSpeech: Continuous Imagined Speech Decoding using High-Density fNIRS and Prompt Tuning for Advanced Human-AI Interaction [0.0]
本稿では,脳とAIの直接インターフェースを開発することによって,人間とAIのインタラクションを実現する新しい手法を提案する。
我々はMindSpeechと呼ばれる新しいAIモデルについて論じる。
4名中3名に対してBLEU-1,BERT Pスコアなどの指標を有意に改善した。
論文 参考訳（メタデータ） (2024-07-25T16:39:21Z) - Converging Paradigms: The Synergy of Symbolic and Connectionist AI in LLM-Empowered Autonomous Agents [55.63497537202751]
コネクショニストと象徴的人工知能(AI)の収束を探求する記事
従来、コネクショナリストAIはニューラルネットワークにフォーカスし、シンボリックAIはシンボリック表現とロジックを強調していた。
大型言語モデル(LLM)の最近の進歩は、人間の言語をシンボルとして扱う際のコネクショナリストアーキテクチャの可能性を強調している。
論文 参考訳（メタデータ） (2024-07-11T14:00:53Z) - Metacognitive AI: Framework and the Case for a Neurosymbolic Approach [5.5441283041944]
我々は、TRAPと呼ばれるメタ認知人工知能(AI)を理解するための枠組みを導入する。
我々は、これらの局面のそれぞれについて議論し、メタ認知の課題に対処するために、ニューロシンボリックAI(NSAI)をどのように活用できるかを探求する。
論文 参考訳（メタデータ） (2024-06-17T23:30:46Z) - Neural-Logic Human-Object Interaction Detection [67.4993347702353]
本稿では,ニューラルロジック推論を利用した新しいHOI検出器であるL OGIC HOIと,実体間の相互作用を推測するTransformerを提案する。
具体的には,バニラトランスフォーマーの自己保持機構を改変し,人間,行動,対象>三重項を推論し,新たな相互作用を構成する。
我々はこれらの2つの特性を一階述語論理で定式化し、それらを連続空間に基底にして、我々のアプローチの学習過程を制約し、性能とゼロショットの一般化能力を向上させる。
論文 参考訳（メタデータ） (2023-11-16T11:47:53Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳（メタデータ） (2023-10-14T23:28:48Z) - Incremental procedural and sensorimotor learning in cognitive humanoid
robots [52.77024349608834]
本研究は,手順を段階的に学習する認知エージェントを提案する。
各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。
結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
論文 参考訳（メタデータ） (2023-04-30T22:51:31Z) - Vygotskian Autotelic Artificial Intelligence: Language and Culture
Internalization for Human-Like AI [16.487953861478054]
本稿では,人工寿命スキル発見の探求において,新たなAIパラダイムを提案する。
我々は特に言語に焦点をあて、その構造と内容が人工エージェントにおける新しい認知機能の発展にどう役立つかに注目した。
言語と体格の相互作用から生まれる新しい人工認知機能の例を明らかにすることで、アプローチを正当化する。
論文 参考訳（メタデータ） (2022-06-02T16:35:41Z) - Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。
FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
論文 参考訳（メタデータ） (2022-01-15T03:00:27Z) - Towards Understanding Human Functional Brain Development with
Explainable Artificial Intelligence: Challenges and Perspectives [6.106661781836959]
本稿では,現在最先端のAI技術が機能的脳発達にどのような影響を及ぼすかを理解することを目的とする。
また、脳の発達過程に基づいて、どのAI技術が彼らの学習を説明する可能性が高いかについてのレビューも実施されている。
論文 参考訳（メタデータ） (2021-12-24T02:13:13Z) - CogAlign: Learning to Align Textual Neural Representations to Cognitive
Language Processing Signals [60.921888445317705]
自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。
我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
論文 参考訳（メタデータ） (2021-06-10T07:10:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。