論文の概要: Does Self-Rationalization Improve Robustness to Spurious Correlations?

• arxiv url: http://arxiv.org/abs/2210.13575v1
• Date: Mon, 24 Oct 2022 19:54:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 13:10:25.764883
• Title: Does Self-Rationalization Improve Robustness to Spurious Correlations?
• Title（参考訳）: 自己帰属化は純粋相関にロバスト性を改善するか?
• Authors: Alexis Ross, Matthew E. Peters, Ana Marasovi\'c
• Abstract要約: 自己合理化のためのトレーニングモデルが、正しい理由でタスクを解決するための学習に役立つかどうかを問う。 細調整エンコーダデコーダとデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデオーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダのロバスト性の評価を行った。 自己組織化は低リソース環境での相関関係を刺激することでロバスト性を改善することができるが、高リソース環境ではロバスト性を損なう傾向にある。
• 参考スコア（独自算出の注目度）: 19.553357015260687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rationalization is fundamental to human reasoning and learning. NLP models trained to produce rationales along with predictions, called self-rationalization models, have been investigated for their interpretability and utility to end-users. However, the extent to which training with human-written rationales facilitates learning remains an under-explored question. We ask whether training models to self-rationalize can aid in their learning to solve tasks for the right reasons. Specifically, we evaluate how training self-rationalization models with free-text rationales affects robustness to spurious correlations in fine-tuned encoder-decoder and decoder-only models of six different sizes. We evaluate robustness to spurious correlations by measuring performance on 1) manually annotated challenge datasets and 2) subsets of original test sets where reliance on spurious correlations would fail to produce correct answers. We find that while self-rationalization can improve robustness to spurious correlations in low-resource settings, it tends to hurt robustness in higher-resource settings. Furthermore, these effects depend on model family and size, as well as on rationale content. Together, our results suggest that explainability can come at the cost of robustness; thus, appropriate care should be taken when training self-rationalizing models with the goal of creating more trustworthy models.
• Abstract（参考訳）: 合理化は人間の推論と学習の基本である。 自己有理化モデル(Self-rationalization model)と呼ばれる予測とともに有理性を生成するために訓練されたNLPモデルは、エンドユーザーへの解釈性と有用性について研究されている。 しかし、人文的合理化による学習が学習を助長する程度は未解明のままである。 自己合理化のためのトレーニングモデルが、正しい理由でタスクを解決するための学習に役立つかどうかを問う。 具体的には,6種類の大きさの微調整エンコーダ・デコーダモデルとデコーダのみモデルにおいて,自由文理論を用いた自己有理化モデルの学習がロバスト性にどのように影響するかを評価する。 性能測定による突発的相関に対するロバスト性の評価 1)手動で注釈付きチャレンジデータセットと 2) 突発的相関に依存して正しい回答を得られないような,元のテストセットのサブセット。 自己合理化は、低リソース設定のスプリアス相関に対するロバスト性を改善するが、高リソース設定ではロバスト性が損なわれる傾向がある。 さらに、これらの効果はモデルファミリーとサイズ、そして合理的な内容に依存する。 その結果,より信頼性の高いモデルを作成するために,自己合理化モデルのトレーニングを行う際に適切な注意が必要であることが示唆された。

関連論文リスト

• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• Reviving Dormant Memories: Investigating Catastrophic Forgetting in Language Models through Rationale-Guidance Difficulty [7.5795085006788545]
  また, 受動的に外部から与えられた理論的根拠を受け付けると, 忘れたタスクに対する性能を復元できることが判明した。 与えられた指示が適切な合理性を生成する際にモデルをどのように効果的に導くかを評価するために、Rationale-Guidance Difficultyメトリックを提案する。
  論文  参考訳（メタデータ） (2024-11-18T14:28:04Z)
• Self-Training Meets Consistency: Improving LLMs' Reasoning With Consistency-Driven Rationale Evaluation [15.124701883286436]
  大規模言語モデル(LLM)の自己学習アプローチは、自己生成的理性に基づいてモデルをトレーニングすることで推論能力を向上させる。 これまでのアプローチでは、与えられた質問に対する正しい答えをトレーニングに適するように、合理的にラベル付けしてきた。 CREST(Consistency-driven Rationale Evaluation for Self-Training)は,フォローアップ質問を通じて各根拠を更に評価する自己学習フレームワークである。
  論文  参考訳（メタデータ） (2024-11-10T08:11:05Z)
• Improving Language Model Reasoning with Self-motivated Learning [60.779625789039486]
  textitSelfをモチベーションとする学習フレームワークは、モデル自体をモチベーションとして、既存のデータセットで合理性を自動的に生成する。 我々は,有理数の品質を評価するためにランク付き報酬モデルを訓練し,強化学習による推論の性能向上を図る。
  論文  参考訳（メタデータ） (2024-04-10T14:05:44Z)
• Seeing is not Believing: Robust Reinforcement Learning against Spurious Correlation [57.351098530477124]
  国家の異なる部分には、保存されていない共同設立者が引き起こす相関関係が存在しない。 このような役に立たないあるいは有害な相関を学習するモデルは、テストケースの共同創設者がトレーニングケースから逸脱したときに破滅的に失敗する可能性がある。 したがって、単純かつ非構造的な不確実性集合を仮定する既存の頑健なアルゴリズムは、この問題に対処するには不十分である。
  論文  参考訳（メタデータ） (2023-07-15T23:53:37Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Can Rationalization Improve Robustness? [39.741059642044874]
  ニューラルNLPモデルが、その解釈可能な性質に加えて、敵攻撃に対して堅牢性をもたらすかどうかを検討する。 トークンと文レベルの合理化タスクの両方に対して,さまざまなタイプのAddText攻撃を生成する。 実験の結果、合理的モデルでは、特定のシナリオで苦労しながら、堅牢性を改善するという約束が示されることがわかった。
  論文  参考訳（メタデータ） (2022-04-25T17:02:42Z)
• Measuring Association Between Labels and Free-Text Rationales [60.58672852655487]
  解釈可能なNLPでは、説明された例に対するモデルの意思決定プロセスを反映した忠実な理性が必要です。 情報抽出型タスクに対する忠実な抽出合理化のための既存のモデルであるパイプラインは、自由テキスト合理化を必要とするタスクに確実に拡張されないことを示す。 我々は、信頼が確立されていない自由文合理化のための、広く使われている高性能モデルのクラスである、共同予測と合理化のモデルに目を向ける。
  論文  参考訳（メタデータ） (2020-10-24T03:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。