論文の概要: Variational Information Pursuit for Interpretable Predictions

• arxiv url: http://arxiv.org/abs/2302.02876v1
• Date: Mon, 6 Feb 2023 15:43:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 16:09:49.020140
• Title: Variational Information Pursuit for Interpretable Predictions
• Title（参考訳）: 解釈可能な予測のための変分情報探索
• Authors: Aditya Chattopadhyay, Kwan Ho Ryan Chan, Benjamin D. Haeffele, Donald Geman, Ren\'e Vidal
• Abstract要約: 変分情報探索 (V-IP) は, 生成モデル学習の必要性を回避したIPの変分特性である。 V-IPは、典型的にはシーケンシャル意思決定問題で使用される強化学習と比較して、クエリチェーンがはるかに短い。 本稿では,V-IPが生成モデルよりも優れた医療診断などの課題に対して有効であることを示す。
• 参考スコア（独自算出の注目度）: 8.894670614193677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a growing interest in the machine learning community in developing predictive algorithms that are "interpretable by design". Towards this end, recent work proposes to make interpretable decisions by sequentially asking interpretable queries about data until a prediction can be made with high confidence based on the answers obtained (the history). To promote short query-answer chains, a greedy procedure called Information Pursuit (IP) is used, which adaptively chooses queries in order of information gain. Generative models are employed to learn the distribution of query-answers and labels, which is in turn used to estimate the most informative query. However, learning and inference with a full generative model of the data is often intractable for complex tasks. In this work, we propose Variational Information Pursuit (V-IP), a variational characterization of IP which bypasses the need for learning generative models. V-IP is based on finding a query selection strategy and a classifier that minimizes the expected cross-entropy between true and predicted labels. We then demonstrate that the IP strategy is the optimal solution to this problem. Therefore, instead of learning generative models, we can use our optimal strategy to directly pick the most informative query given any history. We then develop a practical algorithm by defining a finite-dimensional parameterization of our strategy and classifier using deep networks and train them end-to-end using our objective. Empirically, V-IP is 10-100x faster than IP on different Vision and NLP tasks with competitive performance. Moreover, V-IP finds much shorter query chains when compared to reinforcement learning which is typically used in sequential-decision-making problems. Finally, we demonstrate the utility of V-IP on challenging tasks like medical diagnosis where the performance is far superior to the generative modelling approach.
• Abstract（参考訳）: 予測アルゴリズムの開発には、"設計によって解釈可能"な機械学習コミュニティの関心が高まっている。 この目的に向けて、近年の研究は、得られた回答(履歴)に基づいて高い信頼度で予測ができるまで、データに関する解釈可能なクエリを順次問うことによって、解釈可能な意思決定を行うことを提案する。 短い問合せチェーンを促進するために、情報取得順にクエリを適応的に選択するIP(Information Pursuit)と呼ばれる欲求手続きが使用される。 生成モデルを用いてクエリー回答とラベルの分布を学習し、最も情報性の高いクエリを推定する。 しかし、データの完全な生成モデルによる学習と推論は、複雑なタスクに対してしばしば難解である。 本稿では,学習生成モデルの必要性を回避したipの変分的特徴付けである変分情報追跡(v-ip)を提案する。 V-IPは、真ラベルと予測ラベルの相互エントロピーを最小化するクエリ選択戦略と分類器の探索に基づいている。 次に,IP戦略がこの問題の最適解であることを示す。 したがって、生成モデルを学習する代わりに、最適な戦略を使って、履歴から最も情報に富んだクエリを直接選択できる。 そこで我々は、深層ネットワークを用いて戦略と分類器の有限次元パラメータ化を定義し、その目的を用いてエンドツーエンドに訓練することで、実用的なアルゴリズムを開発する。 実証的には、V-IPは、異なるビジョンとNLPタスクにおけるIPよりも10-100倍高速で、競合性能がある。 さらにv-ipでは,逐次決定問題で一般的に使用される強化学習と比較して,クエリチェインが大幅に短縮されている。 最後に,V-IPが生成的モデリング手法よりもはるかに優れた医療診断などの課題に対して有効であることを示す。

関連論文リスト

• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• IGANN Sparse: Bridging Sparsity and Interpretability with Non-linear Insight [4.010646933005848]
  IGANN Sparseは、一般化された加法モデルのファミリーから生まれた、新しい機械学習モデルである。 トレーニング中の非線形特徴選択プロセスを通じて、スパシティを促進する。 これにより、予測性能を犠牲にすることなく、モデル空間の改善による解釈可能性を保証する。
  論文  参考訳（メタデータ） (2024-03-17T22:44:36Z)
• Type-based Neural Link Prediction Adapter for Complex Query Answering [2.1098688291287475]
  本稿では,タイプベースエンティティ関係グラフを構成する新しいモデルであるTypEベースのニューラルリンク予測アダプタ(TENLPA)を提案する。 型情報と複雑な論理的クエリを効果的に結合するために,適応学習機構を導入する。 3つの標準データセットの実験により、TENLPAモデルが複雑なクエリ応答における最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-01-29T10:54:28Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.27154181792567]
  ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• Interpretable by Design: Learning Predictors by Composing Interpretable Queries [8.054701719767293]
  機械学習アルゴリズムは設計によって解釈されるべきである。 正確な予測に必要なクエリの数を最小限に抑える。 視覚とNLPタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2022-07-03T02:40:34Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Network Support for High-performance Distributed Machine Learning [17.919773898228716]
  学習ノード(計算を行う)と情報ノード(データを提供する)の両方をキャプチャするシステムモデルを提案する。 次に,学習課題を完了させるために,学習ノードと情報ノードが協調して行うべき課題と,実行すべきイテレーション数を選択する問題を定式化する。 我々はDoubleClimbというアルゴリズムを考案し、1+1/|I|競合解を見つけることができる。
  論文  参考訳（メタデータ） (2021-02-05T19:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。