論文の概要: An Information-theoretic Progressive Framework for Interpretation

• arxiv url: http://arxiv.org/abs/2101.02879v1
• Date: Fri, 8 Jan 2021 06:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-04-10 08:58:28.402421
• Title: An Information-theoretic Progressive Framework for Interpretation
• Title（参考訳）: 情報理論による解釈の進歩的枠組み
• Authors: Zhengqi He, Taro Toyoizumi
• Abstract要約: 本稿では,解釈を合成する情報理論の進歩的枠組みを提案する。 我々は、情報マップ分割のアイデアでフレームワークを構築し、変分情報ボトルネック技術を用いて実装する。 このフレームワークは情報マップを分割し、メタ情報形式で解釈を合成できることが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Both brain science and the deep learning communities have the problem of interpreting neural activity. For deep learning, even though we can access all neurons' activity data, interpretation of how the deep network solves the task is still challenging. Although a large amount of effort has been devoted to interpreting a deep network, there is still no consensus of what interpretation is. This paper tries to push the discussion in this direction and proposes an information-theoretic progressive framework to synthesize interpretation. Firstly, we discuss intuitions of interpretation: interpretation is meta-information; interpretation should be at the right level; inducing independence is helpful to interpretation; interpretation is naturally progressive; interpretation doesn't have to involve a human. Then, we build the framework with an information map splitting idea and implement it with the variational information bottleneck technique. After that, we test the framework with the CLEVR dataset. The framework is shown to be able to split information maps and synthesize interpretation in the form of meta-information.
• Abstract（参考訳）: 脳科学と深層学習コミュニティの両方が、神経活動の解釈に問題を抱えている。 深層学習では、すべてのニューロンの活動データにアクセスできるが、深層ネットワークがどのようにタスクを解決するかの解釈は依然として困難である。 ディープネットワークの解釈に多くの努力が注がれているが、解釈が何であるかについては、まだ合意が得られていない。 本稿では,この方向への議論を推し進め,解釈を合成するための情報理論の進歩的枠組みを提案する。 まず、解釈はメタ情報である;解釈は正しいレベルにあるべきである;独立を誘導することは解釈に役立つ;解釈は自然に進行する;解釈は人間を巻き込む必要がない。 次に,情報マップ分割アイデアを用いたフレームワークを構築し,変動型情報ボトルネック手法を用いて実装する。 その後、私たちはCLEVRデータセットでフレームワークをテストします。 このフレームワークは情報マップを分割し、メタ情報形式で解釈を合成できることが示されている。

関連論文リスト

• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Toward Transparent AI: A Survey on Interpreting the Inner Structures of Deep Neural Networks [8.445831718854153]
  インナー・インタープリタビリティ・ツールに焦点をあてて300を超える研究をレビューする。 そこで我々は,ネットワークのどの部分で説明できるかによって,メソッドを分類する分類法を提案する。 我々は、解釈可能性研究における現状は、主に非生産的であると論じる。
  論文  参考訳（メタデータ） (2022-07-27T01:59:13Z)
• Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
  テキストデータ上でのサリエンシに基づく説明について検討する。 人はしばしば説明を誤って解釈する。 本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-27T15:20:32Z)
• What do End-to-End Speech Models Learn about Speaker, Language and Channel Information? A Layer-wise and Neuron-level Analysis [16.850888973106706]
  本稿では,事前学習した音声モデルの探索フレームワークを用いたポストホック機能解析を行う。 話者認識や方言識別といった様々なタスクのために訓練された音声モデルの発話レベル表現を解析する。 i) チャネル情報と性別情報はネットワーク全体に分散され,i) 情報はタスクに関してニューロンで冗長に利用可能であり,iv) 弁証情報などの複雑な特性はタスク指向の事前学習ネットワークでのみ符号化される。
  論文  参考訳（メタデータ） (2021-07-01T13:32:55Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• Did they answer? Subjective acts and intents in conversational discourse [48.63528550837949]
  英会話の複数の主観的かつ主観的な解釈を含む最初の対話データセットを提示する。 意見の相違が曖昧であることを示し、異なる文脈要因についてより深く理解する必要がある。
  論文  参考訳（メタデータ） (2021-04-09T16:34:19Z)
• Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond [49.93153180169685]
  一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。 我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。 信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
  論文  参考訳（メタデータ） (2021-03-19T08:40:30Z)
• A Survey on Neural Network Interpretability [25.27545364222555]
  解釈性は、深層ネットワークが他の研究分野で強力なツールになるのに望ましい特性である。 本研究では,エンゲージメントのタイプ(パッシブ対アクティブ解釈アプローチ),説明のタイプ,焦点の3次元に整理した新しい分類法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T15:09:50Z)
• Are Interpretations Fairly Evaluated? A Definition Driven Pipeline for Post-Hoc Interpretability [54.85658598523915]
  我々は,解釈の忠実性を評価する前に,解釈を明確に定義することを提案する。 解釈手法は,ある評価基準の下で異なる性能を示すが,その差は解釈の品質や忠実さから生じるものではない。
  論文  参考訳（メタデータ） (2020-09-16T06:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。