論文の概要: Causal Intersectionality and Dual Form of Gradient Descent for
Multimodal Analysis: a Case Study on Hateful Memes
- arxiv url: http://arxiv.org/abs/2308.11585v1
- Date: Sat, 19 Aug 2023 13:14:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 17:20:09.202127
- Title: Causal Intersectionality and Dual Form of Gradient Descent for
Multimodal Analysis: a Case Study on Hateful Memes
- Title(参考訳): マルチモーダル解析のための因果交叉性と勾配降下の双対形--憎悪のあるミームを事例として
- Authors: Yosuke Miyanishi, Minh Le Nguyen
- Abstract要約: 機械学習(ML)の使用が爆発的に増加する中で、その内部作業に根ざした意味的意義を理解することが重要である。
本研究は, ヘイトフルミーム検出問題を平均処理効果(ATE)として定式化できることを示す。
最新のLLM LLaMA2は、コンテキスト内学習環境において、ミーム検出の交わる性質を解き放つことができることを示す。
- 参考スコア(独自算出の注目度): 1.0774440462574781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the wake of the explosive growth of machine learning (ML) usage,
particularly within the context of emerging Large Language Models (LLMs),
comprehending the semantic significance rooted in their internal workings is
crucial. While causal analyses focus on defining semantics and its
quantification, the gradient-based approach is central to explainable AI (XAI),
tackling the interpretation of the black box. By synergizing these approaches,
the exploration of how a model's internal mechanisms illuminate its causal
effect has become integral for evidence-based decision-making. A parallel line
of research has revealed that intersectionality - the combinatory impact of
multiple demographics of an individual - can be structured in the form of an
Averaged Treatment Effect (ATE). Initially, this study illustrates that the
hateful memes detection problem can be formulated as an ATE, assisted by the
principles of intersectionality, and that a modality-wise summarization of
gradient-based attention attribution scores can delineate the distinct
behaviors of three Transformerbased models concerning ATE. Subsequently, we
show that the latest LLM LLaMA2 has the ability to disentangle the
intersectional nature of memes detection in an in-context learning setting,
with their mechanistic properties elucidated via meta-gradient, a secondary
form of gradient. In conclusion, this research contributes to the ongoing
dialogue surrounding XAI and the multifaceted nature of ML models.
- Abstract(参考訳): 機械学習(ML)の利用が爆発的に増加する中で、特に新興のLarge Language Models(LLM)の文脈において、その内部作業に根ざした意味的意義を理解することが重要である。
因果解析は意味論の定義と定量化に重点を置いているが、勾配に基づくアプローチは説明可能なAI(XAI)の中心であり、ブラックボックスの解釈に取り組む。
これらのアプローチを相補することにより、モデルの内部メカニズムが因果効果を照らす方法の探求は、証拠に基づく意思決定に不可欠なものとなった。
並列的な研究の行は、交叉性 - 個人の複数の集団の組合せ的影響 - が平均的な治療効果(ate)の形で構成できることを明らかにした。
まず, ヘイトフルミーム検出問題をateとして定式化し, 交叉性の原理を援用し, グラデーションに基づく注意帰属スコアの様相的要約を行うことにより, ateに関する3つのトランスフォーマーモデルの異なる挙動を記述できることを示す。
次に,最新のllm llama2は,コンテキスト内学習環境におけるミーム検出の交叉的性質を分離する能力を持ち,その機構特性は2次勾配であるメタグラデーエントによって解明されることを示した。
結論として,本研究は,XAIを取り巻く対話とMLモデルの多面的性質に寄与する。
関連論文リスト
- CausalGym: Benchmarking causal interpretability methods on linguistic
tasks [52.61917615039112]
CausalGymを使って、モデル動作に因果的に影響を及ぼす解釈可能性手法のベンチマークを行う。
ピチアモデル (14M--6.9B) について検討し, 幅広い解釈可能性手法の因果効果について検討した。
DASは他の手法よりも優れており、2つの困難な言語現象の学習軌跡の研究に利用している。
論文 参考訳(メタデータ) (2024-02-19T21:35:56Z) - Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳(メタデータ) (2024-02-09T07:18:06Z) - A Novel Energy based Model Mechanism for Multi-modal Aspect-Based
Sentiment Analysis [85.77557381023617]
マルチモーダル感情分析のための新しいフレームワークDQPSAを提案する。
PDQモジュールは、プロンプトをビジュアルクエリと言語クエリの両方として使用し、プロンプト対応の視覚情報を抽出する。
EPEモジュールはエネルギーベースモデルの観点から解析対象の境界ペアリングをモデル化する。
論文 参考訳(メタデータ) (2023-12-13T12:00:46Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳(メタデータ) (2023-09-30T20:59:42Z) - Context De-confounded Emotion Recognition [12.037240778629346]
コンテキストアウェア感情認識(CAER)は、対象者の感情状態を文脈情報で知覚することを目的としている。
長年見過ごされてきた問題は、既存のデータセットのコンテキストバイアスが感情状態のかなり不均衡な分布をもたらすことである。
本稿では、そのようなバイアスの影響からモデルを切り離し、CAERタスクにおける変数間の因果関係を定式化する因果関係に基づく視点を提供する。
論文 参考訳(メタデータ) (2023-03-21T15:12:20Z) - Finding Alignments Between Interpretable Causal Variables and
Distributed Neural Representations [62.65877150123775]
因果抽象化は、説明可能な人工知能のための有望な理論的枠組みである。
既存の因果抽象法では、高レベルモデルと低レベルモデルの間のアライメントをブルートフォースで探索する必要がある。
これらの制約を克服する分散アライメントサーチ(DAS)を提案する。
論文 参考訳(メタデータ) (2023-03-05T00:57:49Z) - Scientific Inference With Interpretable Machine Learning: Analyzing
Models to Learn About Real-World Phenomena [0.0]
解釈可能な機械学習(IML)は、機械学習モデルの振る舞いと特性に関するものである。
我々は、関連する現象特性を把握できるように、IML手法の開発方法を示す。
論文 参考訳(メタデータ) (2022-06-11T10:13:21Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T12:52:26Z) - The Grammar of Interactive Explanatory Model Analysis [7.812073412066698]
本稿では,異なる説明モデル解析(EMA)手法が相互にどのように補完するかを示す。
我々はIEMAの文法を形式化し、潜在的な人間モデル対話を記述する。
IEMAは、広く使われている人中心のオープンソースソフトウェアフレームワークで実装されている。
論文 参考訳(メタデータ) (2020-05-01T17:12:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。