論文の概要: Thought Flow Nets: From Single Predictions to Trains of Model Thought
- arxiv url: http://arxiv.org/abs/2107.12220v1
- Date: Mon, 26 Jul 2021 13:56:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-27 16:28:45.520600
- Title: Thought Flow Nets: From Single Predictions to Trains of Model Thought
- Title(参考訳): 思考フローネット:単一予測からモデル思考のトレインへ
- Authors: Hendrik Schuff, Heike Adel, Ngoc Thang Vu
- Abstract要約: 人間が複雑な問題を解くと、すぐに決定が下されることはめったにない。
その代わり、彼らは直感的な決定から始まり、間違いを見つけ、矛盾を解決し、異なる仮説の間を飛び交う。
- 参考スコア(独自算出の注目度): 39.619001911390804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When humans solve complex problems, they rarely come up with a decision
right-away. Instead, they start with an intuitive decision, reflect upon it,
spot mistakes, resolve contradictions and jump between different hypotheses.
Thus, they create a sequence of ideas and follow a train of thought that
ultimately reaches a conclusive decision. Contrary to this, today's neural
classification models are mostly trained to map an input to one single and
fixed output. In this paper, we investigate how we can give models the
opportunity of a second, third and $k$-th thought. We take inspiration from
Hegel's dialectics and propose a method that turns an existing classifier's
class prediction (such as the image class forest) into a sequence of
predictions (such as forest $\rightarrow$ tree $\rightarrow$ mushroom).
Concretely, we propose a correction module that is trained to estimate the
model's correctness as well as an iterative prediction update based on the
prediction's gradient. Our approach results in a dynamic system over class
probability distributions $\unicode{x2014}$ the thought flow. We evaluate our
method on diverse datasets and tasks from computer vision and natural language
processing. We observe surprisingly complex but intuitive behavior and
demonstrate that our method (i) can correct misclassifications, (ii)
strengthens model performance, (iii) is robust to high levels of adversarial
attacks, (iv) can increase accuracy up to 4% in a label-distribution-shift
setting and (iv) provides a tool for model interpretability that uncovers model
knowledge which otherwise remains invisible in a single distribution
prediction.
- Abstract(参考訳): 人間が複雑な問題を解くと、すぐに決定が下されることはめったにない。
その代わりに、直感的な決定から始まり、それを反映し、ミスを見つけ、矛盾を解決し、異なる仮説の間を飛び交う。
したがって、彼らは一連の考えを作成し、最終的に決定的な決定に達する一連の考えに従う。
それとは対照的に、今日の神経分類モデルは、入力を1つの固定された出力にマッピングするように訓練されている。
本稿では,モデルに2つ目,3つ目,k$-thの思考の機会を与える方法について検討する。
ヘーゲルの弁証法から着想を得て、既存の分類器のクラス予測(イメージクラスフォレストなど)を一連の予測(forest $\rightarrow$ tree $\rightarrow$ mushroom など)に変換する手法を提案する。
具体的には,モデルの正確さを推定するために訓練された補正モジュールと,予測の勾配に基づく反復予測更新を提案する。
我々の手法は、クラス確率分布上の動的システムに$\unicode{x2014}$思考フローをもたらす。
我々は,コンピュータビジョンと自然言語処理から多様なデータセットとタスクを評価する。
我々は驚くほど複雑だが直感的な行動を観察し,提案手法(i)が誤分類を正すこと,(ii)モデル性能の強化,(iii)高レベルの敵攻撃に対して頑健であること,(iv)ラベル分散シフト設定において最大4%の精度向上が可能であること,(iv)単一分布予測では目に見えないモデル知識を明らかにするモデル解釈可能性のツールを提供することを実証した。
関連論文リスト
- ScatterUQ: Interactive Uncertainty Visualizations for Multiclass Deep
Learning Problems [0.0]
ScatterUQは、ユーザがコンテキスト駆動の不確実性設定におけるモデルパフォーマンスをよりよく理解できるように、ターゲットの可視化を提供するインタラクティブシステムである。
本稿では,Fashion-MNISTを訓練した距離認識ニューラルネットワーク上でのマルチクラス画像分類におけるモデル不確実性を説明するために,ScatterUQの有効性を示す。
以上の結果から,ScatterUQシステムは任意のマルチクラスデータセットにスケールすべきであることが示唆された。
論文 参考訳(メタデータ) (2023-08-08T21:17:03Z) - A Lightweight Causal Model for Interpretable Subject-level Prediction [0.17999333451993946]
本稿では,本質的に解釈可能な単一対象予測手法を提案する。
実験により、結果のモデルを効率よく逆転させ、正確な主観レベルの予測を行うことが示されている。
論文 参考訳(メタデータ) (2023-06-19T18:20:29Z) - An Interpretable Loan Credit Evaluation Method Based on Rule
Representation Learner [8.08640000394814]
我々は、Lending ClubデータセットのRRL(Rule Representation)に基づいて、本質的に解釈可能なモデルを設計する。
トレーニング中、私たちは以前の研究から、バイナリウェイトを効果的にトレーニングするためのトリックを学びました。
本モデルは,ポストホック法により生成された説明の正当性を検証するために用いられる。
論文 参考訳(メタデータ) (2023-04-03T05:55:04Z) - Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。
我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
論文 参考訳(メタデータ) (2023-01-15T03:13:09Z) - Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。
いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文 参考訳(メタデータ) (2022-02-18T17:09:32Z) - Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。
我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
論文 参考訳(メタデータ) (2021-08-26T17:55:11Z) - Learning from the Best: Rationalizing Prediction by Adversarial
Information Calibration [39.685626118667074]
2つのモデルを共同でトレーニングする。1つは手前のタスクを正確だがブラックボックスな方法で解く典型的なニューラルモデルであり、もう1つはセレクタ-予測モデルであり、予測の根拠も生み出す。
両モデルから抽出した情報の校正には,逆数に基づく手法を用いる。
自然言語タスクには, 言語モデルに基づく正規化子を用いて, 流線型論理の抽出を促進することを提案する。
論文 参考訳(メタデータ) (2020-12-16T11:54:15Z) - Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。
トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文 参考訳(メタデータ) (2020-10-27T17:54:12Z) - How do Decisions Emerge across Layers in Neural Models? Interpretation
with Differentiable Masking [70.92463223410225]
DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。
入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。
これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
論文 参考訳(メタデータ) (2020-04-30T17:36:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。