論文の概要: Learn from A Rationalist: Distilling Intermediate Interpretable Rationales

• arxiv url: http://arxiv.org/abs/2601.22531v1
• Date: Fri, 30 Jan 2026 04:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.211852
• Title: Learn from A Rationalist: Distilling Intermediate Interpretable Rationales
• Title（参考訳）: 合理主義者から学ぶ:中間的解釈的合理を蒸留する
• Authors: Jiayi Dai, Randy Goebel,
• Abstract要約: textbfREKD (textbfRationale textbfExtraction with textbfKnowledge textbfDistillation) ここでは、学生REモデルが教師の合理性と予測から学習する。 言語および視覚分類データセット(IMDB映画レビュー、CIFAR 10、CIFAR 100)にわたる実験により、REKDは学生REモデルの予測性能を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 0.8274009317027778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Because of the pervasive use of deep neural networks (DNNs), especially in high-stakes domains, the interpretability of DNNs has received increased attention. The general idea of rationale extraction (RE) is to provide an interpretable-by-design framework for DNNs via a select-predict architecture where two neural networks learn jointly to perform feature selection and prediction, respectively. Given only the remote supervision from the final task prediction, the process of learning to select subsets of features (or \emph{rationales}) requires searching in the space of all possible feature combinations, which is computationally challenging and even harder when the base neural networks are not sufficiently capable. To improve the predictive performance of RE models that are based on less capable or smaller neural networks (i.e., the students), we propose \textbf{REKD} (\textbf{R}ationale \textbf{E}xtraction with \textbf{K}nowledge \textbf{D}istillation) where a student RE model learns from the rationales and predictions of a teacher (i.e., a \emph{rationalist}) in addition to the student's own RE optimization. This structural adjustment to RE aligns well with how humans could learn effectively from interpretable and verifiable knowledge. Because of the neural-model agnostic nature of the method, any black-box neural network could be integrated as a backbone model. To demonstrate the viability of REKD, we conduct experiments with multiple variants of BERT and vision transformer (ViT) models. Our experiments across language and vision classification datasets (i.e., IMDB movie reviews, CIFAR 10 and CIFAR 100) show that REKD significantly improves the predictive performance of the student RE models.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)が広範に使われているため、特にハイテイクドメインでは、DNNの解釈可能性に注目が集まっている。 合理抽出(RE)の一般的な考え方は、2つのニューラルネットワークがそれぞれ特徴選択と予測を行うために共同で学習する選択予測アーキテクチャを通じて、DNNのための解釈可能な設計フレームワークを提供することである。 最終タスク予測からのリモート監視のみを考えると、機能のサブセット(または \emph{rationales})を選択する過程には、すべての可能な機能の組み合わせの空間を探索する必要がある。 学生のREモデルの予測性能を改善するため,学生のRE最適化に加えて,教師の有理と予測(例えば,emph{rationalist})から学習するREモデルの予測性能を改善するために,学生のRE最適化に加えて,教師のREモデル(例えば,emph{rationalist})から学習する。 このREの構造的な調整は、人間が解釈可能で検証可能な知識から効果的に学習する方法とよく一致します。 この手法のニューラルモデルに依存しない性質のため、任意のブラックボックスニューラルネットワークはバックボーンモデルとして統合できる。 我々は,REKDの生存可能性を示すために,BERTモデルと視覚変換器(ViT)モデルの複数変種を用いた実験を行った。 言語および視覚分類データセット(IMDB映画レビュー、CIFAR 10、CIFAR 100)による実験の結果、REKDは学生REモデルの予測性能を大幅に改善することが示された。

関連論文リスト

• NN-Former: Rethinking Graph Structure in Neural Architecture Representation [67.3378579108611]
  グラフニューラルネットワーク(GNN)とトランスフォーマーは、ニューラルネットワークを表現する上で有望なパフォーマンスを示している。 これまでの研究で見過ごされている間、兄弟ノードは中心的であることを示す。 我々のアプローチは、精度と遅延予測の両方において、常に有望な性能を達成する。
  論文  参考訳（メタデータ） (2025-07-01T15:46:18Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Epistemic Neural Networks [25.762699400341972]
  原則として、アンサンブルに基づくアプローチは効果的な共同予測をもたらす。 しかし、大規模なアンサンブルを訓練する際の計算コストは禁じられる可能性がある。 従来のニューラルネットワークを補完するアーキテクチャであるEpinetを紹介します。
  論文  参考訳（メタデータ） (2021-07-19T14:37:57Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。