論文の概要: Thought Flow Nets: From Single Predictions to Trains of Model Thought
- arxiv url: http://arxiv.org/abs/2107.12220v1
- Date: Mon, 26 Jul 2021 13:56:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-27 16:28:45.520600
- Title: Thought Flow Nets: From Single Predictions to Trains of Model Thought
- Title（参考訳）: 思考フローネット:単一予測からモデル思考のトレインへ
- Authors: Hendrik Schuff, Heike Adel, Ngoc Thang Vu
- Abstract要約: 人間が複雑な問題を解くと、すぐに決定が下されることはめったにない。
その代わり、彼らは直感的な決定から始まり、間違いを見つけ、矛盾を解決し、異なる仮説の間を飛び交う。
- 参考スコア（独自算出の注目度）: 39.619001911390804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When humans solve complex problems, they rarely come up with a decision
right-away. Instead, they start with an intuitive decision, reflect upon it,
spot mistakes, resolve contradictions and jump between different hypotheses.
Thus, they create a sequence of ideas and follow a train of thought that
ultimately reaches a conclusive decision. Contrary to this, today's neural
classification models are mostly trained to map an input to one single and
fixed output. In this paper, we investigate how we can give models the
opportunity of a second, third and $k$-th thought. We take inspiration from
Hegel's dialectics and propose a method that turns an existing classifier's
class prediction (such as the image class forest) into a sequence of
predictions (such as forest $\rightarrow$ tree $\rightarrow$ mushroom).
Concretely, we propose a correction module that is trained to estimate the
model's correctness as well as an iterative prediction update based on the
prediction's gradient. Our approach results in a dynamic system over class
probability distributions $\unicode{x2014}$ the thought flow. We evaluate our
method on diverse datasets and tasks from computer vision and natural language
processing. We observe surprisingly complex but intuitive behavior and
demonstrate that our method (i) can correct misclassifications, (ii)
strengthens model performance, (iii) is robust to high levels of adversarial
attacks, (iv) can increase accuracy up to 4% in a label-distribution-shift
setting and (iv) provides a tool for model interpretability that uncovers model
knowledge which otherwise remains invisible in a single distribution
prediction.
- Abstract（参考訳）: 人間が複雑な問題を解くと、すぐに決定が下されることはめったにない。
その代わりに、直感的な決定から始まり、それを反映し、ミスを見つけ、矛盾を解決し、異なる仮説の間を飛び交う。
したがって、彼らは一連の考えを作成し、最終的に決定的な決定に達する一連の考えに従う。
それとは対照的に、今日の神経分類モデルは、入力を1つの固定された出力にマッピングするように訓練されている。
本稿では,モデルに2つ目,3つ目,k$-thの思考の機会を与える方法について検討する。
ヘーゲルの弁証法から着想を得て、既存の分類器のクラス予測(イメージクラスフォレストなど)を一連の予測(forest $\rightarrow$ tree $\rightarrow$ mushroom など)に変換する手法を提案する。
具体的には,モデルの正確さを推定するために訓練された補正モジュールと,予測の勾配に基づく反復予測更新を提案する。
我々の手法は、クラス確率分布上の動的システムに$\unicode{x2014}$思考フローをもたらす。
我々は,コンピュータビジョンと自然言語処理から多様なデータセットとタスクを評価する。
我々は驚くほど複雑だが直感的な行動を観察し,提案手法(i)が誤分類を正すこと,(ii)モデル性能の強化,(iii)高レベルの敵攻撃に対して頑健であること,(iv)ラベル分散シフト設定において最大4%の精度向上が可能であること,(iv)単一分布予測では目に見えないモデル知識を明らかにするモデル解釈可能性のツールを提供することを実証した。
関連論文リスト
- Reconciling Model Multiplicity for Downstream Decision Making [24.335927243672952]
2つの予測モデルがほぼ至るところでそれぞれの予測にほぼ一致しているとしても、最も応答性の高い行動が人口のかなりの部分で相違していることが示される。
本稿では,下流決定問題と個別確率予測の両方に関して,予測モデルを校正する枠組みを提案する。
論文 参考訳（メタデータ） (2024-05-30T03:36:46Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Awareness of uncertainty in classification using a multivariate model and multi-views [1.3048920509133808]
提案モデルでは,不確かさ予測を正規化し,予測と不確かさ推定の両方を計算する訓練を行う。
複数ビュー予測と不確かさと信頼度を考慮し、最終的な予測を計算する方法をいくつか提案した。
提案手法はクリーンでノイズの多いラベル付きCIFAR-10データセットを用いて検証した。
論文 参考訳（メタデータ） (2024-04-16T06:40:51Z) - ScatterUQ: Interactive Uncertainty Visualizations for Multiclass Deep Learning Problems [0.0]
ScatterUQは、ユーザがコンテキスト駆動の不確実性設定におけるモデルパフォーマンスをよりよく理解できるように、ターゲットの可視化を提供するインタラクティブシステムである。
本稿では,Fashion-MNISTを訓練した距離認識ニューラルネットワーク上でのマルチクラス画像分類におけるモデル不確実性を説明するために,ScatterUQの有効性を示す。
以上の結果から,ScatterUQシステムは任意のマルチクラスデータセットにスケールすべきであることが示唆された。
論文 参考訳（メタデータ） (2023-08-08T21:17:03Z) - An Interpretable Loan Credit Evaluation Method Based on Rule
Representation Learner [8.08640000394814]
我々は、Lending ClubデータセットのRRL(Rule Representation)に基づいて、本質的に解釈可能なモデルを設計する。
トレーニング中、私たちは以前の研究から、バイナリウェイトを効果的にトレーニングするためのトリックを学びました。
本モデルは,ポストホック法により生成された説明の正当性を検証するために用いられる。
論文 参考訳（メタデータ） (2023-04-03T05:55:04Z) - Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。
我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
論文 参考訳（メタデータ） (2023-01-15T03:13:09Z) - Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。
いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文 参考訳（メタデータ） (2022-02-18T17:09:32Z) - Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。
トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文 参考訳（メタデータ） (2020-10-27T17:54:12Z) - How do Decisions Emerge across Layers in Neural Models? Interpretation
with Differentiable Masking [70.92463223410225]
DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。
入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。
これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
論文 参考訳（メタデータ） (2020-04-30T17:36:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。