論文の概要: Understanding Interlocking Dynamics of Cooperative Rationalization

• arxiv url: http://arxiv.org/abs/2110.13880v1
• Date: Tue, 26 Oct 2021 17:39:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 13:42:48.446827
• Title: Understanding Interlocking Dynamics of Cooperative Rationalization
• Title（参考訳）: 協調合理化の連動ダイナミクスの理解
• Authors: Mo Yu, Yang Zhang, Shiyu Chang, Tommi S. Jaakkola
• Abstract要約: 選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。 このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。 A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
• 参考スコア（独自算出の注目度）: 90.6863969334526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selective rationalization explains the prediction of complex neural networks by finding a small subset of the input that is sufficient to predict the neural model output. The selection mechanism is commonly integrated into the model itself by specifying a two-component cascaded system consisting of a rationale generator, which makes a binary selection of the input features (which is the rationale), and a predictor, which predicts the output based only on the selected features. The components are trained jointly to optimize prediction performance. In this paper, we reveal a major problem with such cooperative rationalization paradigm -- model interlocking. Interlocking arises when the predictor overfits to the features selected by the generator thus reinforcing the generator's selection even if the selected rationales are sub-optimal. The fundamental cause of the interlocking problem is that the rationalization objective to be minimized is concave with respect to the generator's selection policy. We propose a new rationalization framework, called A2R, which introduces a third component into the architecture, a predictor driven by soft attention as opposed to selection. The generator now realizes both soft and hard attention over the features and these are fed into the two different predictors. While the generator still seeks to support the original predictor performance, it also minimizes a gap between the two predictors. As we will show theoretically, since the attention-based predictor exhibits a better convexity property, A2R can overcome the concavity barrier. Our experiments on two synthetic benchmarks and two real datasets demonstrate that A2R can significantly alleviate the interlock problem and find explanations that better align with human judgments. We release our code at https://github.com/Gorov/Understanding_Interlocking.
• Abstract（参考訳）: 選択的合理化は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。 選択機構は、入力特徴(論理)の2元選択を行うrationeジェネレータと、選択された特徴のみに基づいて出力を予測する予測器とからなる2成分カスケードシステムを指定することで、モデル自体に一般的に統合される。 コンポーネントは共同でトレーニングされ、予測性能を最適化する。 本稿では、このような協調合理化パラダイム(モデルインターロック)の大きな問題を明らかにする。 インターロックは、予測者がジェネレータによって選択された特徴に過度に適合すると発生し、選択された論理が準最適であってもジェネレータの選択を補強する。 インターロッキング問題の根本的な原因は、最小化される合理化の目的が発電機の選択方針に関して凹凸になっていることである。 A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。 ジェネレータは、特徴に対してソフトとハードの両方の注意を払っており、これらは2つの異なる予測器に供給される。 ジェネレータは依然として元の予測器のパフォーマンスをサポートしようとしているが、2つの予測器間のギャップを最小化している。 理論的に示すように、注意に基づく予測器はより良い凸性を示すので、A2Rは凹性障壁を克服できる。 2つのベンチマークと2つの実際のデータセットに関する実験は、A2Rがインターロック問題を著しく軽減し、人間の判断によく適合する説明を見つけることを実証している。 私たちはコードをhttps://github.com/gorov/understanding_interlockingでリリースします。

関連論文リスト

• Enhancing the Rationale-Input Alignment for Self-explaining Rationalization [22.74436500022893]
  DAR(textbfDiscriminatively textbfAligned textbfRationalization)と呼ばれる新しい手法を導入する。 2つの実世界のベンチマーク実験により,提案手法は説明の質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-12-07T07:37:15Z)
• Unsupervised Selective Rationalization with Noise Injection [7.17737088382948]
  教師なし選択的合理化は、2つの共同訓練されたコンポーネント、有理生成器と予測器をチェーンすることで、予測と共に有理性を生成する。 本稿では,生成器と予測器との間にノイズを注入することにより,有理数生成を効果的に抑制する新しい訓練手法を提案する。 新しいベンチマークを含め、さまざまなタスクにおける最先端技術に対する合理的な妥当性とタスク精度の大幅な改善を実現しています。
  論文  参考訳（メタデータ） (2023-05-27T17:34:36Z)
• Decoupled Rationalization with Asymmetric Learning Rates: A Flexible Lipschitz Restraint [16.54547887989801]
  自己説明的合理化モデルは、一般的に、生成者が入力テキストから最も人間的な知性のある断片を論理として選択する協調ゲームによって構成され、次に選択された合理性に基づいて予測を行う予測器が続く。 そのような協調ゲームは、予測者がまだ十分に訓練されていないジェネレータによって生成される非形式的ピースに過度に適合する退化問題を生じさせ、それからジェネレータを無意味なピースを選択する傾向にある準最適モデルに収束させる。 我々は、自然かつ柔軟にリプシッツ定数を抑制できるDRという、単純で効果的な手法を実証的に提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:01:13Z)
• Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
  我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。 我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
  論文  参考訳（メタデータ） (2023-01-15T03:13:09Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Holistic Transformer: A Joint Neural Network for Trajectory Prediction and Decision-Making of Autonomous Vehicles [15.024503096898634]
  軌道予測と行動決定は自動運転車にとって重要な課題である。 複数の手がかりを組み合わせた結合ニューラルネットワークが提案され,軌道の予測と行動決定を同時に行う。
  論文  参考訳（メタデータ） (2022-06-17T14:38:11Z)
• Rationales for Sequential Predictions [117.93025782838123]
  シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。 モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。 この目的を近似する効率的なグリードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T01:25:15Z)
• On the Reproducibility of Neural Network Predictions [52.47827424679645]
  そこで本研究では, チャーン問題について検討し, 原因因子を同定し, 緩和する2つの簡単な方法を提案する。 最初に、標準的な画像分類タスクであっても、チャーンが問題であることを示す。 我々は,予測信頼度を高めるために,エントロピー正規化器を提案する。 両手法の有効性を実証的に示し, 基礎モデルの精度を向上しながら, チャーン低減効果を示す。
  論文  参考訳（メタデータ） (2021-02-05T18:51:01Z)
• Invariant Rationalization [84.1861516092232]
  典型的な合理化基準、すなわち最大相互情報(MMI)は、合理性のみに基づいて予測性能を最大化する合理性を見つける。 ゲーム理論の不変な有理化基準を導入し、各環境において同じ予測器を最適にするために、有理を制約する。 理論的にも実証的にも、提案された理性は、素早い相関を除外し、異なるテストシナリオをより一般化し、人間の判断とよく一致させることができることを示す。
  論文  参考訳（メタデータ） (2020-03-22T00:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。