論文の概要: Foundations of Symbolic Languages for Model Interpretability
- arxiv url: http://arxiv.org/abs/2110.02376v1
- Date: Tue, 5 Oct 2021 21:56:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 09:04:52.860882
- Title: Foundations of Symbolic Languages for Model Interpretability
- Title(参考訳): モデル解釈性のための記号言語の基礎
- Authors: Marcelo Arenas, Daniel Baez, Pablo Barcel\'o, Jorge P\'erez and
Bernardo Subercaseaux
- Abstract要約: 本稿では,2種類のMLモデル上でのFOILクエリの計算複雑性について検討する。
本稿では,高レベルの宣言型言語でラップされたFOILのプロトタイプ実装について述べる。
- 参考スコア(独自算出の注目度): 2.3361634876233817
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several queries and scores have recently been proposed to explain individual
predictions over ML models. Given the need for flexible, reliable, and
easy-to-apply interpretability methods for ML models, we foresee the need for
developing declarative languages to naturally specify different explainability
queries. We do this in a principled way by rooting such a language in a logic,
called FOIL, that allows for expressing many simple but important
explainability queries, and might serve as a core for more expressive
interpretability languages. We study the computational complexity of FOIL
queries over two classes of ML models often deemed to be easily interpretable:
decision trees and OBDDs. Since the number of possible inputs for an ML model
is exponential in its dimension, the tractability of the FOIL evaluation
problem is delicate but can be achieved by either restricting the structure of
the models or the fragment of FOIL being evaluated. We also present a prototype
implementation of FOIL wrapped in a high-level declarative language and perform
experiments showing that such a language can be used in practice.
- Abstract(参考訳): MLモデルに対する個々の予測を説明するために、最近いくつかのクエリとスコアが提案されている。
mlモデルのフレキシブルで信頼性が高く、適用容易な解釈可能性メソッドの必要性から、異なる説明可能性クエリを自然に指定するための宣言型言語の開発の必要性を予見する。
このような言語を論理学でルート化するFOILは、単純だが重要な説明可能性クエリの多くを表現し、より表現力のある解釈可能性言語のコアとして機能する。
決定木とOBDDの2種類のMLモデルに対して,FOILクエリの計算複雑性について検討した。
mlモデルに対する可能な入力数はその次元において指数関数的であるため、フォイル評価問題の扱いやすさは繊細であるが、モデルの構造や評価対象のフォイルの断片を制限することで達成できる。
また,高レベル宣言型言語でラップされたfoilのプロトタイプ実装を行い,そのような言語を実際に使用できることを示す実験を行う。
関連論文リスト
- Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - Know Your Needs Better: Towards Structured Understanding of Marketer
Demands with Analogical Reasoning Augmented LLMs [31.626409516124877]
我々は,非専門家のマーケターが,自然言語形式の要求のみを前提としたターゲットユーザを選択できる,ユーザターゲティングの新しい方法を探究する。
この問題の鍵は、自然言語を実用的な論理言語に変換する方法である。
本稿では,2つのモジュールからなるALALLMを提案する。
論文 参考訳(メタデータ) (2024-01-09T02:25:23Z) - Pyreal: A Framework for Interpretable ML Explanations [51.14710806705126]
Pyrealは、さまざまな解釈可能な機械学習説明を生成するシステムである。
Pyrealは、モデルによって期待される機能空間、関連する説明アルゴリズム、および人間のユーザ間でデータと説明を変換する。
我々の研究は、Pyrealが既存のシステムよりも有用な説明を生成することを示した。
論文 参考訳(メタデータ) (2023-12-20T15:04:52Z) - Evaluating Neural Language Models as Cognitive Models of Language
Acquisition [4.779196219827507]
我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。
小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。
子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
論文 参考訳(メタデータ) (2023-10-31T00:16:17Z) - ThinkSum: Probabilistic reasoning over sets using large language models [18.123895485602244]
本稿では,2段階の確率的推論パラダイムであるThinkSumを提案する。
我々は,LLM評価タスクのBIGベンチスイートにおけるThinkSumの可能性とメリットを実証する。
論文 参考訳(メタデータ) (2022-10-04T00:34:01Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Flexible Operations for Natural Language Deduction [32.92866195461153]
ParaPatternは、人間の直接の監督なしに様々な自然言語入力の論理変換を生成するモデルを構築する方法である。
我々は、BARTベースのモデルを用いて、特定の論理演算を1つ以上の前提文に適用した結果を生成する。
対象とするコントラストセットと、qascデータセットからのドメイン外文合成を用いてモデルを評価する。
論文 参考訳(メタデータ) (2021-04-18T11:36:26Z) - Explicitly Modeling Syntax in Language Models with Incremental Parsing
and a Dynamic Oracle [88.65264818967489]
我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。
モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。
実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
論文 参考訳(メタデータ) (2020-10-21T17:39:15Z) - Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。
ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
論文 参考訳(メタデータ) (2020-02-09T19:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。