論文の概要: Faithfulness Measurable Masked Language Models

• arxiv url: http://arxiv.org/abs/2310.07819v1
• Date: Wed, 11 Oct 2023 19:00:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 14:14:53.755357
• Title: Faithfulness Measurable Masked Language Models
• Title（参考訳）: 忠実さ測定可能なマスキング言語モデル
• Authors: Andreas Madsen, Siva Reddy, Sarath Chandar
• Abstract要約: NLPモデルを説明するための一般的なアプローチは、予測にどのトークンが重要であるかを表現する重要な尺度を使用することである。 そのような指標の1つは、トークンが本当に重要であるなら、それらを隠すことはモデルのパフォーマンスを悪化させる。 これらの課題に対処する本質的な忠実度測定モデルを提案する。
• 参考スコア（独自算出の注目度）: 38.67924043709067
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A common approach to explain NLP models, is to use importance measures that express which tokens are important for a prediction. Unfortunately, such explanations are often wrong despite being persuasive. Therefore, it is essential to measure their faithfulness. One such metric is if tokens are truly important, then masking them should result in worse model performance. However, token masking introduces out-of-distribution issues and existing solutions are computationally expensive and employ proxy-models. Furthermore, other metrics are very limited in scope. In this work, we propose an inherently faithfulness measurable model that addresses these challenges. This is achieved by using a novel fine-tuning method that incorporates masking, such that masking tokens become in-distribution by design. This differs from existing approaches, which are completely model-agnostic but are inapplicable in practice. We demonstrate the generality of our approach by applying it to various tasks and validate it using statistical in-distribution tests. Additionally, because masking is in-distribution, importance measures which themselves use masking become more faithful, thus our model becomes more explainable.
• Abstract（参考訳）: NLPモデルを説明するための一般的なアプローチは、予測にどのトークンが重要であるかを表現する重要な尺度を使用することである。 残念ながら、そのような説明はしばしば説得力があるにもかかわらず間違っている。 したがって、彼らの誠実さを測ることが不可欠である。 そのようなメトリックの1つは、トークンが本当に重要である場合、それらをマスキングすると、モデルパフォーマンスが悪化する。 しかしトークンマスキングでは分散の問題が発生し、既存のソリューションは計算コストが高く、プロキシモデルを採用している。 さらに、他のメトリクスはスコープが非常に限られています。 本研究では,これらの課題に対処する本質的な忠実度測定モデルを提案する。 これはマスキングを取り入れた新しい微調整手法によって実現され、マスクトークンが設計によって流通する。 これは、モデルに依存しないが実際に適用できない既存のアプローチとは異なる。 我々は,様々なタスクに適用し,統計的分布テストを用いて検証することにより,アプローチの汎用性を示す。 また,マスキングは流通中であるため,マスキングを自身で使用する重要度尺度がより忠実になるので,モデルがより説明可能になる。

関連論文リスト

• Towards Faithful Natural Language Explanations: A Study Using Activation Patching in Large Language Models [29.67884478799914]
  大きな言語モデル(LLM)は、その答えを正当化するために説得力のある自然言語説明(NLE)を生成することができる。 近年,NLEの忠実度を測定するための様々な手法が提案されている。 これらのアプローチは、確立された忠実性の定義に従って包括的でも正しくも設計されていない、と我々は主張する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:42Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Fairness Without Harm: An Influence-Guided Active Sampling Approach [32.173195437797766]
  我々は、モデルの精度に害を与えることなく、グループフェアネスの格差を軽減するモデルを訓練することを目指している。 公正なアクティブな学習アプローチのような現在のデータ取得方法は、通常、アノテートセンシティブな属性を必要とする。 トレーニンググループアノテーションに依存しない抽出可能なアクティブデータサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-20T07:57:38Z)
• Incorporating Attribution Importance for Improving Faithfulness Metrics [36.02988430743367]
  FA(Feature Attribution Method)は、予測を行うモデル推論プロセスに関する洞察を提供するための一般的なアプローチである。 簡単なソフト消去基準を提案する。 我々の実験は、我々のソフト・サフィリエイトとソフト・コン包括性の測定値が一貫して、より忠実な説明を好んでいることを示している。
  論文  参考訳（メタデータ） (2023-05-17T18:05:49Z)
• Improving Identity-Robustness for Face Models [9.721206532236515]
  顔認識ベクトルをアイデンティティのプロキシとして利用して、このような堅牢性を実現する。 我々は, プロキシ埋め込み空間における条件逆密度(CID)に応じて, サンプルを重み付けする。 このような単純なサンプル重み付け方式はトレーニングの堅牢性を向上するだけでなく,全体的な性能も向上することが示唆された。
  論文  参考訳（メタデータ） (2023-04-07T20:41:10Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• Extreme Masking for Learning Instance and Distributed Visual Representations [50.152264456036114]
  本稿では,個々のトークン上の分散表現を同時に学習するためのスケーラブルなアプローチと,総合的なインスタンス表現を提案する。 分散トークンを表すために自己アテンションブロックを使用し、続いてクロスアテンションブロックを使用して全体インスタンスを集約します。 我々のモデルであるExtreMAは、未成熟なサブセットからのインスタンス表現をトレーニングして、無傷な入力からそれを予測する、プレーンなBYOLアプローチに従っています。
  論文  参考訳（メタデータ） (2022-06-09T17:59:43Z)
• Masksembles for Uncertainty Estimation [60.400102501013784]
  ディープニューラルネットワークは、その強みを巧みに実証しているが、その予測の信頼性を推定することは依然として困難である。 深層アンサンブルは不確かさを推定する最良の方法の1つと考えられているが、訓練や評価は非常に高価である。 mc-dropoutも人気の高い代替品で、安価だが信頼性も低い。
  論文  参考訳（メタデータ） (2020-12-15T14:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。