論文の概要: Robust Learning from Explanations

• arxiv url: http://arxiv.org/abs/2303.06419v1
• Date: Sat, 11 Mar 2023 14:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 18:58:41.293308
• Title: Robust Learning from Explanations
• Title（参考訳）: 説明からのロバスト学習
• Authors: Juyeon Heo, Vihari Piratla, Matthew Wicker, Adrian Weller
• Abstract要約: MLX(Machine Learning from explains)は、モデル予測が正しい理由のために正しいことを保証するために、入力毎に関連する機能の人為的なアノテーションを使用する学習手法である。 既存のMLXアプローチは、特定のモデル解釈アプローチに大きく依存しており、モデルと人間の説明を整合させるために強力なパラメータ正則化を必要とする。 我々はMLXを逆の頑健性問題として再考し、人間の説明では摂動が引き起こされる低次元多様体を規定し、この手法が強いパラメータ正規化の必要性を緩和する理論的かつ実証的な方法を示す。
• 参考スコア（独自算出の注目度）: 29.688244374075655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning from explanations (MLX) is an approach to learning that uses human-provided annotations of relevant features for each input to ensure that model predictions are right for the right reasons. Existing MLX approaches rely heavily on a specific model interpretation approach and require strong parameter regularization to align model and human explanations, leading to sub-optimal performance. We recast MLX as an adversarial robustness problem, where human explanations specify a lower dimensional manifold from which perturbations can be drawn, and show both theoretically and empirically how this approach alleviates the need for strong parameter regularization. We consider various approaches to achieving robustness, leading to improved performance over prior MLX methods. Finally, we combine robustness with an earlier MLX method, yielding state-of-the-art results on both synthetic and real-world benchmarks.
• Abstract（参考訳）: mlx(machine learning from explanations)は、モデル予測が正しい理由に合致することを保証するために、各入力に関連した機能の人間によるアノテーションを使用する学習アプローチである。 既存のMLXアプローチは、特定のモデル解釈アプローチに大きく依存しており、モデルと人間の説明を整合させるために強力なパラメータ正則化を必要とする。 我々はMLXを逆の頑健性問題として再考し、人間の説明では摂動が引き起こされる低次元多様体を規定し、この手法が強いパラメータ正規化の必要性を緩和する理論的かつ実証的な方法を示す。 我々は、堅牢性を達成するための様々なアプローチを検討し、従来のmlxメソッドよりもパフォーマンスが向上した。 最後に、ロバストネスを以前のMLX法と組み合わせ、合成および実世界のベンチマークで最先端の結果を得る。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
  ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:39:33Z)
• Prototypical Self-Explainable Models Without Re-training [5.837536154627278]
  自己説明可能なモデル(SEM)は、予測とともに説明を提供するために直接訓練される。 現在のSEMは複雑なアーキテクチャと高度に規則化された損失関数を必要とするため、具体的かつコストのかかる訓練が必要である。 我々は、既存の事前学習されたモデルからプロトタイプSEMに変換することができる、KMExと呼ばれる単純で効率的な普遍的手法を提案する。
  論文  参考訳（メタデータ） (2023-12-13T01:15:00Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Model Agnostic Sample Reweighting for Out-of-Distribution Learning [38.843552982739354]
  我々は,OOD問題に効果的に対応するために,基本的手法であるtextbfAgnostic SamtextbfPLe rtextbfEweighting (textbfMAPLE)を提案する。 我々のキーとなる考え方は、トレーニングサンプルを効果的に再重み付けすることで、大規模モデルの標準的な経験的リスク最小化トレーニングがOOD一般化性能に優れたものとなるようにすることである。
  論文  参考訳（メタデータ） (2023-01-24T05:11:03Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• HEX: Human-in-the-loop Explainability via Deep Reinforcement Learning [2.322461721824713]
  我々は、機械学習説明可能性(MLX)に対するHEX(Human-in-the-loop Deep reinforcement learning approach)を提案する。 我々の定式化は、基礎となるトレーニングデータではなく、問題となるMLモデルの決定境界を明示的に考慮している。 提案手法は,限られたデータシナリオで使用するために問題となるモデルの決定境界を明示的にキャプチャするHITL MLXポリシーを合成する。
  論文  参考訳（メタデータ） (2022-06-02T23:53:40Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• A Semiparametric Approach to Interpretable Machine Learning [9.87381939016363]
  機械学習におけるブラックボックスモデルは、複雑な問題と高次元設定において優れた予測性能を示した。 透明性と解釈可能性の欠如は、重要な意思決定プロセスにおけるそのようなモデルの適用性を制限します。 半パラメトリック統計学のアイデアを用いて予測モデルにおける解釈可能性と性能のトレードオフを行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-08T16:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。