論文の概要: Interpretable Stereotype Identification through Reasoning
- arxiv url: http://arxiv.org/abs/2308.00071v2
- Date: Wed, 6 Mar 2024 18:49:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 18:12:53.072495
- Title: Interpretable Stereotype Identification through Reasoning
- Title(参考訳): 推論による解釈可能なステレオタイプ同定
- Authors: Jacob-Junqi Tian, Omkar Dige, David Emerson, Faiza Khan Khattak
- Abstract要約: Vicuna-13B-v1.3に基づくゼロショットステレオタイプ同定における推論の重要性を示す。
ステレオタイプ識別などのドメイン外タスクにおいて,LSMがスケーリング法則を反省する上で,推論が重要な要因となる可能性が示唆された。
- 参考スコア(独自算出の注目度): 0.040964539027092926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given that language models are trained on vast datasets that may contain
inherent biases, there is a potential danger of inadvertently perpetuating
systemic discrimination. Consequently, it becomes essential to examine and
address biases in language models, integrating fairness into their development
to ensure these models are equitable and free from bias. In this work, we
demonstrate the importance of reasoning in zero-shot stereotype identification
based on Vicuna-13B-v1.3. While we do observe improved accuracy by scaling from
13B to 33B, we show that the performance gain from reasoning significantly
exceeds the gain from scaling up. Our findings suggest that reasoning could be
a key factor that enables LLMs to trescend the scaling law on out-of-domain
tasks such as stereotype identification. Additionally, through a qualitative
analysis of select reasoning traces, we highlight how reasoning enhances not
just accuracy but also the interpretability of the decision.
- Abstract(参考訳): 言語モデルは、固有のバイアスを含む可能性のある膨大なデータセットに基づいて訓練されているため、システム的差別を不注意に永続する危険性がある。
したがって、言語モデルにおけるバイアスを調べ、対処することが不可欠となり、公平さを開発に組み込んで、これらのモデルがバイアスから平等かつ自由であることを保証する。
本研究では,ゼロショットステレオタイプ同定におけるvicuna-13b-v1.3に基づく推論の重要性を示す。
我々は,13bから33bへのスケーリングによる精度向上を観察する一方で,推論による性能向上がスケールアップによる利益を大幅に上回っていることを示す。
ステレオタイプ識別などのドメイン外タスクにおいて,LSMがスケーリング法則を反省する上で,推論が重要な要因となる可能性が示唆された。
さらに,選択された推論トレースの質的分析を通じて,推論の正確性だけでなく,判断の解釈性も向上することを示す。
関連論文リスト
- Identifiable Latent Neural Causal Models [82.14087963690561]
因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。
因果表現の識別可能性に寄与する分布シフトのタイプを決定する。
本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
論文 参考訳(メタデータ) (2024-03-23T04:13:55Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained
models [62.23255433487586]
モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。
本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
論文 参考訳(メタデータ) (2023-04-29T22:05:22Z) - Simultaneous Improvement of ML Model Fairness and Performance by
Identifying Bias in Data [1.76179873429447]
トレーニング前にデータセットから削除すべき特定の種類のバイアスを記述したインスタンスを検出できるデータ前処理手法を提案する。
特に、類似した特徴を持つインスタンスが存在するが、保護属性の変動に起因するラベルが異なる問題設定では、固有のバイアスがデータセット内で引き起こされる、と主張する。
論文 参考訳(メタデータ) (2022-10-24T13:04:07Z) - VisFIS: Visual Feature Importance Supervision with
Right-for-the-Right-Reason Objectives [84.48039784446166]
モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。
我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。
説明が妥当で忠実な場合には予測がより正確になる。
論文 参考訳(メタデータ) (2022-06-22T17:02:01Z) - Fairness-aware Summarization for Justified Decision-Making [16.47665757950391]
テキストベースニューラルネットワークの正当化における不公平性の問題に焦点をあてる。
本研究では,これらのモデルにおけるバイアスを検出し,対処するための,公平性を考慮した要約機構を提案する。
論文 参考訳(メタデータ) (2021-07-13T17:04:10Z) - Investigating Bias in Image Classification using Model Explanations [0.0]
モデル説明が識別特徴を強調することで画像分類のバイアスを効率的に検出できるかどうかを評価する。
バイアス検出の重要な特徴を定式化し,モデルのバイアスの程度が変化するにつれて説明がどのように変化するかを観察した。
論文 参考訳(メタデータ) (2020-12-10T05:27:49Z) - Latent Causal Invariant Model [128.7508609492542]
現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。
因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
論文 参考訳(メタデータ) (2020-11-04T10:00:27Z) - Why do you think that? Exploring Faithful Sentence-Level Rationales
Without Supervision [60.62434362997016]
文レベルで忠実な論理を出力するモデルを作成するために,異なる訓練枠組みを提案する。
本モデルでは,各理性に基づいて各課題を個別に解決し,その課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。
論文 参考訳(メタデータ) (2020-10-07T12:54:28Z) - CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。
本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。
本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
論文 参考訳(メタデータ) (2020-05-27T15:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。