論文の概要: Learning Hybrid Interpretable Models: Theory, Taxonomy, and Methods
- arxiv url: http://arxiv.org/abs/2303.04437v1
- Date: Wed, 8 Mar 2023 08:35:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 14:40:09.718016
- Title: Learning Hybrid Interpretable Models: Theory, Taxonomy, and Methods
- Title（参考訳）: ハイブリッド解釈モデルを学ぶ:理論、分類学、方法
- Authors: Julien Ferry (LAAS-ROC), Gabriel Laberge (EPM), Ulrich A\"ivodji (ETS)
- Abstract要約: ハイブリッドモデルは解釈可能なモデルと複雑なブラックボックスの協調を含む。
古典的モデルに対するそのようなモデルの利点は2倍である。
システムの透明性のレベルをユーザが正確にコントロールできる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A hybrid model involves the cooperation of an interpretable model and a
complex black box. At inference, any input of the hybrid model is assigned to
either its interpretable or complex component based on a gating mechanism. The
advantages of such models over classical ones are two-fold: 1) They grant users
precise control over the level of transparency of the system and 2) They can
potentially perform better than a standalone black box since redirecting some
of the inputs to an interpretable model implicitly acts as regularization.
Still, despite their high potential, hybrid models remain under-studied in the
interpretability/explainability literature. In this paper, we remedy this fact
by presenting a thorough investigation of such models from three perspectives:
Theory, Taxonomy, and Methods. First, we explore the theory behind the
generalization of hybrid models from the Probably-Approximately-Correct (PAC)
perspective. A consequence of our PAC guarantee is the existence of a sweet
spot for the optimal transparency of the system. When such a sweet spot is
attained, a hybrid model can potentially perform better than a standalone black
box. Secondly, we provide a general taxonomy for the different ways of training
hybrid models: the Post-Black-Box and Pre-Black-Box paradigms. These approaches
differ in the order in which the interpretable and complex components are
trained. We show where the state-of-the-art hybrid models Hybrid-Rule-Set and
Companion-Rule-List fall in this taxonomy. Thirdly, we implement the two
paradigms in a single method: HybridCORELS, which extends the CORELS algorithm
to hybrid modeling. By leveraging CORELS, HybridCORELS provides a certificate
of optimality of its interpretable component and precise control over
transparency. We finally show empirically that HybridCORELS is competitive with
existing hybrid models, and performs just as well as a standalone black box (or
even better) while being partly transparent.
- Abstract（参考訳）: ハイブリッドモデルは、解釈可能なモデルと複雑なブラックボックスの協調を伴う。
推論において、ハイブリッドモデルの任意の入力は、ゲーティング機構に基づいて解釈可能または複雑なコンポーネントに割り当てられる。
古典的なモデルよりもこのモデルの利点は2つある。
1)システムの透明性のレベルをユーザが正確に制御できるようにする。
2) 解釈可能なモデルにいくつかの入力をリダイレクトして正規化を暗黙的に行うので,スタンドアロンのブラックボックスよりもパフォーマンスがよい可能性がある。
しかし、その可能性が高いにもかかわらず、ハイブリッドモデルは解釈可能性/説明可能性の文献では未研究のままである。
本稿では,これらのモデルについて,理論,分類学,方法論の3つの観点から徹底的な調査を行った。
まず、確率近似(PAC)の観点からハイブリッドモデルの一般化の背後にある理論を考察する。
当社のPAC保証の結果は、システムの最適透明性のためのスイートスポットの存在にあります。
このようなスイートスポットが達成されると、ハイブリッドモデルはスタンドアロンのブラックボックスよりもパフォーマンスが良い可能性がある。
第2に,ポストブラックボックスとプレブラックボックスという,ハイブリッドモデルのトレーニング方法に関する一般的な分類法を提案する。
これらのアプローチは、解釈可能かつ複雑なコンポーネントが訓練される順序で異なる。
この分類において,最新ハイブリッドモデルのハイブリッドルールセットとコンパニオンルールリストがどこに落ちているかを示す。
第3に,2つのパラダイムを1つの方法で実装する。hybridcorelsは,corelsアルゴリズムをハイブリッドモデリングに拡張するものだ。
CORELSを活用することで、HybridCORELSはその解釈可能なコンポーネントの最適性と透明性の正確な制御の証明書を提供する。
最終的に、HybridCORELSは既存のハイブリッドモデルと競合し、部分的に透明でありながらスタンドアローンのブラックボックス(またはそれ以上の)と同等の性能を発揮することを実証的に示す。
関連論文リスト
- Gnothi Seauton: Empowering Faithful Self-Interpretability in Black-Box Models [21.698201509643624]
概念に基づくネットワークのような自己解釈型モデルは、決定を人間の理解可能な概念に結びつけることによって洞察を与える。
シャプリー値のようなポストホック法は理論的には堅牢であるが、計算コストが高く、資源集約的である。
ブラックボックスモデルに対する理論的に保証された自己解釈性を提供する。
論文 参考訳（メタデータ） (2024-10-29T07:35:33Z) - Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。
モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。
我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
論文 参考訳（メタデータ） (2024-10-16T14:29:29Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。
我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
論文 参考訳（メタデータ） (2024-05-30T03:57:29Z) - Black-Box Tuning of Vision-Language Models with Effective Gradient
Approximation [71.21346469382821]
ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。
CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
論文 参考訳（メタデータ） (2023-12-26T06:31:28Z) - Quality Diversity Evolutionary Learning of Decision Trees [4.447467536572625]
MAP-Elitesは, モデル複雑性と振る舞いの多様性の両方を捉えた特徴空間上で, ハイブリッドモデルを多様化することができることを示す。
本手法をOpenAI Gymライブラリの2つのよく知られた制御問題に適用し,MAP-Elitesが提案する「照明」パターンについて議論する。
論文 参考訳（メタデータ） (2022-08-17T13:57:32Z) - Hybrid Parameter Search and Dynamic Model Selection for Mixed-Variable
Bayesian Optimization [6.204805504959941]
混合変数の管理に有効なベイズ最適化(BO)のための新しいタイプのハイブリッドモデルを提案する。
提案手法は,モンテカルロ木探索構造 (MCTS) とガウス過程 (GP) を融合したハイブリッドモデルである。
代理モデリングフェーズにおける動的オンラインカーネル選択を含む我々のイノベーションは、ハイブリッドモデルを混合可変代理モデルの進歩として位置づけている。
論文 参考訳（メタデータ） (2022-06-03T06:34:09Z) - Robust Hybrid Learning With Expert Augmentation [31.911717646180886]
我々は、textitexpert augmentation と呼ばれるハイブリッドデータ拡張戦略を導入する。
既存のハイブリッドシステムに組み込むことのできるエキスパート強化が一般化を改善することを実証する。
また、実際の2重振り子のデータセット上で、専門家増強の現実的適用可能性を評価する。
論文 参考訳（メタデータ） (2022-02-08T14:11:04Z) - Have best of both worlds: two-pass hybrid and E2E cascading framework
for speech recognition [71.30167252138048]
ハイブリッド・エンド・ツー・エンド(E2E)システムは音声認識結果に異なる誤りパターンを持つ。
本稿では,ハイブリッドモデルとE2Eモデルを組み合わせた2パスハイブリッドおよびE2Eカスケーディング(HEC)フレームワークを提案する。
提案システムでは,各システムに対して8～10%の単語誤り率削減を実現している。
論文 参考訳（メタデータ） (2021-10-10T20:11:38Z) - Self-Supervised Hybrid Inference in State-Space Models [0.0]
我々は、潜在空間における非線形高階マルコフ連鎖を許容する状態空間モデルにおいて近似推論を行う。
生成モデルや監督のパラメータ化を、未破損の観測や真理潜伏状態による追加のパラメータ化に頼ってはいない。
カオスロレンツシステムにおいて,完全教師付きアプローチと比較して競合的な結果を得るとともに,変分推論に基づく手法よりも優れることを示す。
論文 参考訳（メタデータ） (2021-07-28T13:26:14Z) - UnitedQA: A Hybrid Approach for Open Domain Question Answering [70.54286377610953]
最近の訓練済みのニューラル言語モデルに基づいて,抽出的および生成的読取能力を高めるために,新しい手法を適用した。
私たちのアプローチは、それぞれNaturalQuestionsとTriviaQAと正確な一致で、以前の最先端のモデルを3.3と2.7ポイント上回る。
論文 参考訳（メタデータ） (2021-01-01T06:36:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。