論文の概要: Learning Hybrid Interpretable Models: Theory, Taxonomy, and Methods
- arxiv url: http://arxiv.org/abs/2303.04437v1
- Date: Wed, 8 Mar 2023 08:35:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 14:40:09.718016
- Title: Learning Hybrid Interpretable Models: Theory, Taxonomy, and Methods
- Title(参考訳): ハイブリッド解釈モデルを学ぶ:理論、分類学、方法
- Authors: Julien Ferry (LAAS-ROC), Gabriel Laberge (EPM), Ulrich A\"ivodji (ETS)
- Abstract要約: ハイブリッドモデルは解釈可能なモデルと複雑なブラックボックスの協調を含む。
古典的モデルに対するそのようなモデルの利点は2倍である。
システムの透明性のレベルをユーザが正確にコントロールできる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A hybrid model involves the cooperation of an interpretable model and a
complex black box. At inference, any input of the hybrid model is assigned to
either its interpretable or complex component based on a gating mechanism. The
advantages of such models over classical ones are two-fold: 1) They grant users
precise control over the level of transparency of the system and 2) They can
potentially perform better than a standalone black box since redirecting some
of the inputs to an interpretable model implicitly acts as regularization.
Still, despite their high potential, hybrid models remain under-studied in the
interpretability/explainability literature. In this paper, we remedy this fact
by presenting a thorough investigation of such models from three perspectives:
Theory, Taxonomy, and Methods. First, we explore the theory behind the
generalization of hybrid models from the Probably-Approximately-Correct (PAC)
perspective. A consequence of our PAC guarantee is the existence of a sweet
spot for the optimal transparency of the system. When such a sweet spot is
attained, a hybrid model can potentially perform better than a standalone black
box. Secondly, we provide a general taxonomy for the different ways of training
hybrid models: the Post-Black-Box and Pre-Black-Box paradigms. These approaches
differ in the order in which the interpretable and complex components are
trained. We show where the state-of-the-art hybrid models Hybrid-Rule-Set and
Companion-Rule-List fall in this taxonomy. Thirdly, we implement the two
paradigms in a single method: HybridCORELS, which extends the CORELS algorithm
to hybrid modeling. By leveraging CORELS, HybridCORELS provides a certificate
of optimality of its interpretable component and precise control over
transparency. We finally show empirically that HybridCORELS is competitive with
existing hybrid models, and performs just as well as a standalone black box (or
even better) while being partly transparent.
- Abstract(参考訳): ハイブリッドモデルは、解釈可能なモデルと複雑なブラックボックスの協調を伴う。
推論において、ハイブリッドモデルの任意の入力は、ゲーティング機構に基づいて解釈可能または複雑なコンポーネントに割り当てられる。
古典的なモデルよりもこのモデルの利点は2つある。
1)システムの透明性のレベルをユーザが正確に制御できるようにする。
2) 解釈可能なモデルにいくつかの入力をリダイレクトして正規化を暗黙的に行うので,スタンドアロンのブラックボックスよりもパフォーマンスがよい可能性がある。
しかし、その可能性が高いにもかかわらず、ハイブリッドモデルは解釈可能性/説明可能性の文献では未研究のままである。
本稿では,これらのモデルについて,理論,分類学,方法論の3つの観点から徹底的な調査を行った。
まず、確率近似(PAC)の観点からハイブリッドモデルの一般化の背後にある理論を考察する。
当社のPAC保証の結果は、システムの最適透明性のためのスイートスポットの存在にあります。
このようなスイートスポットが達成されると、ハイブリッドモデルはスタンドアロンのブラックボックスよりもパフォーマンスが良い可能性がある。
第2に,ポストブラックボックスとプレブラックボックスという,ハイブリッドモデルのトレーニング方法に関する一般的な分類法を提案する。
これらのアプローチは、解釈可能かつ複雑なコンポーネントが訓練される順序で異なる。
この分類において,最新ハイブリッドモデルのハイブリッドルールセットとコンパニオンルールリストがどこに落ちているかを示す。
第3に,2つのパラダイムを1つの方法で実装する。hybridcorelsは,corelsアルゴリズムをハイブリッドモデリングに拡張するものだ。
CORELSを活用することで、HybridCORELSはその解釈可能なコンポーネントの最適性と透明性の正確な制御の証明書を提供する。
最終的に、HybridCORELSは既存のハイブリッドモデルと競合し、部分的に透明でありながらスタンドアローンのブラックボックス(またはそれ以上の)と同等の性能を発揮することを実証的に示す。
関連論文リスト
- Black-Box Tuning of Vision-Language Models with Effective Gradient
Approximation [71.21346469382821]
ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。
CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
論文 参考訳(メタデータ) (2023-12-26T06:31:28Z) - Systematic compactification of the (multi) two-channel Kondo model. II.
Comparative study of scaling and universality [68.8204255655161]
アンダーソンの単純な貧乏者の手順を用いてスケーリングについて研究する。
スケーリングに伴うフローの仕方に関して,3つのモデル間で共通的な合意を公開しています。
論文 参考訳(メタデータ) (2023-08-07T13:46:45Z) - CoMAE: Single Model Hybrid Pre-training on Small-Scale RGB-D Datasets [50.6643933702394]
本稿では,RGBと深度変調のための単一モデル自己教師型ハイブリッド事前学習フレームワークについて述べる。
我々のCoMAEは、コントラスト学習とマスク画像モデリングという2つの一般的な自己教師付き表現学習アルゴリズムを統合するためのカリキュラム学習戦略を提示している。
論文 参考訳(メタデータ) (2023-02-13T07:09:45Z) - Quality Diversity Evolutionary Learning of Decision Trees [4.447467536572625]
MAP-Elitesは, モデル複雑性と振る舞いの多様性の両方を捉えた特徴空間上で, ハイブリッドモデルを多様化することができることを示す。
本手法をOpenAI Gymライブラリの2つのよく知られた制御問題に適用し,MAP-Elitesが提案する「照明」パターンについて議論する。
論文 参考訳(メタデータ) (2022-08-17T13:57:32Z) - Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。
SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。
SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-06-16T16:46:32Z) - Hybrid Parameter Search and Dynamic Model Selection for Mixed-Variable
Bayesian Optimization [6.204805504959941]
混合変数の管理に有効なベイズ最適化(BO)のための新しいタイプのハイブリッドモデルを提案する。
提案手法は,モンテカルロ木探索構造 (MCTS) とガウス過程 (GP) を融合したハイブリッドモデルである。
代理モデリングフェーズにおける動的オンラインカーネル選択を含む我々のイノベーションは、ハイブリッドモデルを混合可変代理モデルの進歩として位置づけている。
論文 参考訳(メタデータ) (2022-06-03T06:34:09Z) - Robust Hybrid Learning With Expert Augmentation [31.911717646180886]
我々は、textitexpert augmentation と呼ばれるハイブリッドデータ拡張戦略を導入する。
既存のハイブリッドシステムに組み込むことのできるエキスパート強化が一般化を改善することを実証する。
また、実際の2重振り子のデータセット上で、専門家増強の現実的適用可能性を評価する。
論文 参考訳(メタデータ) (2022-02-08T14:11:04Z) - Have best of both worlds: two-pass hybrid and E2E cascading framework
for speech recognition [71.30167252138048]
ハイブリッド・エンド・ツー・エンド(E2E)システムは音声認識結果に異なる誤りパターンを持つ。
本稿では,ハイブリッドモデルとE2Eモデルを組み合わせた2パスハイブリッドおよびE2Eカスケーディング(HEC)フレームワークを提案する。
提案システムでは,各システムに対して8~10%の単語誤り率削減を実現している。
論文 参考訳(メタデータ) (2021-10-10T20:11:38Z) - Self-Supervised Hybrid Inference in State-Space Models [0.0]
我々は、潜在空間における非線形高階マルコフ連鎖を許容する状態空間モデルにおいて近似推論を行う。
生成モデルや監督のパラメータ化を、未破損の観測や真理潜伏状態による追加のパラメータ化に頼ってはいない。
カオスロレンツシステムにおいて,完全教師付きアプローチと比較して競合的な結果を得るとともに,変分推論に基づく手法よりも優れることを示す。
論文 参考訳(メタデータ) (2021-07-28T13:26:14Z) - UnitedQA: A Hybrid Approach for Open Domain Question Answering [70.54286377610953]
最近の訓練済みのニューラル言語モデルに基づいて,抽出的および生成的読取能力を高めるために,新しい手法を適用した。
私たちのアプローチは、それぞれNaturalQuestionsとTriviaQAと正確な一致で、以前の最先端のモデルを3.3と2.7ポイント上回る。
論文 参考訳(メタデータ) (2021-01-01T06:36:16Z) - Reconstruction of Pairwise Interactions using Energy-Based Models [3.553493344868414]
ペアワイズモデルとニューラルネットワークを組み合わせたハイブリッドモデルは,ペアワイズインタラクションの再構築において有意な改善をもたらす可能性があることを示す。
これは、単純な解釈可能なモデルと複雑なブラックボックスモデルが必ずしも二分法ではないという一般的な考え方と一致している。
論文 参考訳(メタデータ) (2020-12-11T20:15:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。