論文の概要: Beware the Rationalization Trap! When Language Model Explainability Diverges from our Mental Models of Language

• arxiv url: http://arxiv.org/abs/2207.06897v1
• Date: Thu, 14 Jul 2022 13:26:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 13:37:25.924189
• Title: Beware the Rationalization Trap! When Language Model Explainability Diverges from our Mental Models of Language
• Title（参考訳）: 合理化トラップに気をつけろ! 言語モデル説明能力が言語精神モデルから逸脱したとき
• Authors: Rita Sevastjanova and Mennatallah El-Assady
• Abstract要約: 言語モデルは人間とは異なる言語を学び、表現する。 言語モデル説明可能性の成功を評価するためには,ユーザの言語モデルからその相違が与える影響を検討する必要がある。
• 参考スコア（独自算出の注目度）: 9.501243481182351
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Language models learn and represent language differently than humans; they learn the form and not the meaning. Thus, to assess the success of language model explainability, we need to consider the impact of its divergence from a user's mental model of language. In this position paper, we argue that in order to avoid harmful rationalization and achieve truthful understanding of language models, explanation processes must satisfy three main conditions: (1) explanations have to truthfully represent the model behavior, i.e., have a high fidelity; (2) explanations must be complete, as missing information distorts the truth; and (3) explanations have to take the user's mental model into account, progressively verifying a person's knowledge and adapting their understanding. We introduce a decision tree model to showcase potential reasons why current explanations fail to reach their objectives. We further emphasize the need for human-centered design to explain the model from multiple perspectives, progressively adapting explanations to changing user expectations.
• Abstract（参考訳）: 言語モデルは、人間とは異なる言語を学習し、表現する。 したがって、言語モデル説明可能性の成功を評価するためには、ユーザのメンタルモデルとの違いの影響を検討する必要がある。 In this position paper, we argue that in order to avoid harmful rationalization and achieve truthful understanding of language models, explanation processes must satisfy three main conditions: (1) explanations have to truthfully represent the model behavior, i.e., have a high fidelity; (2) explanations must be complete, as missing information distorts the truth; and (3) explanations have to take the user's mental model into account, progressively verifying a person's knowledge and adapting their understanding. 決定木モデルを導入し,現在の説明が目的を達成できない潜在的な理由を明らかにする。 我々はさらに、複数の視点からモデルを説明するための人間中心の設計の必要性を強調し、ユーザー期待の変化に徐々に説明を適用する。

関連論文リスト

• Proceedings of the First International Workshop on Next-Generation Language Models for Knowledge Representation and Reasoning (NeLaMKRR 2024) [16.282850445579857]
  推論は人間の知性の本質的な要素であり、批判的に考える能力において基本的な役割を果たす。 自然言語処理における最近の進歩は、トランスフォーマーに基づく言語モデルの出現とともに、これらのモデルが推論能力を示す可能性を示唆している。 言語モデルにおける推論について議論が続いているが、これらのモデルが実際に推論できる程度に注目することは容易ではない。
  論文  参考訳（メタデータ） (2024-10-07T02:31:47Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
  ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。 言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
  論文  参考訳（メタデータ） (2022-12-16T05:15:41Z)
• A fine-grained comparison of pragmatic language understanding in humans and language models [2.231167375820083]
  言語モデルと人間を7つの現実的な現象で比較する。 最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。 モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
  論文  参考訳（メタデータ） (2022-12-13T18:34:59Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)
• Language Models Understand Us, Poorly [0.0]
  人間の言語理解に関する3つの見解を考察する。 行動の信頼性は理解に必要だが、内部表現は十分である、と私は論じる。 モデル内部を調査し、人間の言語をさらに追加し、モデルが学べるものを計測する作業が必要です。
  論文  参考訳（メタデータ） (2022-10-19T15:58:59Z)
• Learning to Scaffold: Optimizing Model Explanations for Teaching [74.25464914078826]
  我々は3つの自然言語処理とコンピュータビジョンタスクのモデルを訓練する。 筆者らは,本フレームワークで抽出した説明文を学習した学生が,従来の手法よりもはるかに効果的に教師をシミュレートできることを発見した。
  論文  参考訳（メタデータ） (2022-04-22T16:43:39Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Social Commonsense Reasoning with Multi-Head Knowledge Attention [24.70946979449572]
  社会的コモンセンス推論には、テキストの理解、社会イベントに関する知識、その実践的な意味、およびコモンセンス推論スキルが必要である。 本稿では,半構造化コモンセンス推論規則を符号化し,それをトランスフォーマーベースの推論セルに組み込むことを学習する,新しいマルチヘッド知識アテンションモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:24:40Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。