論文の概要: Investigating the Benefits of Free-Form Rationales

• arxiv url: http://arxiv.org/abs/2206.11083v1
• Date: Wed, 25 May 2022 11:46:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 07:24:48.853374
• Title: Investigating the Benefits of Free-Form Rationales
• Title（参考訳）: 自由形合理化のメリットを探る
• Authors: Jiao Sun, Swabha Swayamdipta, Jonathan May, Xuezhe Ma
• Abstract要約: 我々は,ECQAの理論的根拠が決定を理解するための背景情報を提供するのに対して,CoS-Eの88%以上はそうではないことを示す。 学習中の合理化の量や質を変動させることにより,合理化の活用を指導の新たな源泉として検討する。 トレーニング中に5%の合理性を組み込むことで、CoS-Eでは47.22%、ECQAでは57.14%の性能向上が期待できる。
• 参考スコア（独自算出の注目度）: 47.31564168929986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Free-form rationales aim to aid model interpretability by supplying the background knowledge that can help understand model decisions. Crowdsourced rationales are provided for commonsense QA instances in popular datasets such as CoS-E and ECQA, but their utility remains under-investigated. We present human studies which show that ECQA rationales indeed provide additional background information to understand a decision, while over 88% of CoS-E rationales do not. Inspired by this finding, we ask: can the additional context provided by free-form rationales benefit models, similar to human users? We investigate the utility of rationales as an additional source of supervision, by varying the quantity and quality of rationales during training. After controlling for instances where rationales leak the correct answer while not providing additional background knowledge, we find that incorporating only 5% of rationales during training can boost model performance by 47.22% for CoS-E and 57.14% for ECQA during inference. Moreover, we also show that rationale quality matters: compared to crowdsourced rationales, T5-generated rationales provide not only weaker supervision to models, but are also not helpful for humans in aiding model interpretability.
• Abstract（参考訳）: 自由形式の理性は、モデル決定を理解するのに役立つ背景知識を提供することによって、モデルの解釈可能性を支援することを目的としています。 クラウドソーシングの合理性は、CoS-EやECQAといった一般的なデータセットで一般的なQAインスタンスに対して提供されているが、そのユーティリティはまだ検討されていない。 我々は,ECQAの理論的根拠が決定を理解するための背景情報を提供するのに対して,CoS-Eの理論的根拠の88%以上はそうではないことを示す人間の研究を提示する。 この発見に触発されて、私たちは次のように質問する。 自由形式の合理性によって提供される追加のコンテキストは、人間ユーザーと同様の利益をもたらすか? 学習中の合理化の量や質を変動させることにより,合理化の活用を指導源として検討する。 根拠が正しい答えを漏らし、追加のバックグラウンド知識を提供していないインスタンスを制御した後、トレーニング中に論理を5%だけ取り入れただけで、推論中にCoS-Eが47.22%、ECQAが57.14%のモデル性能が向上することが判明した。 さらに, クラウドソーシング理論と比較して, t5生成理論は, モデルに対する弱い監督を与えるだけでなく, モデル解釈を支援する上でも有用ではないことを示す。

関連論文リスト

• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• On Evaluating Explanation Utility for Human-AI Decision Making in NLP [39.58317527488534]
  アプリケーショングラウンド評価に適した既存の指標について検討する。 我々は,人間-AIチームの形成と研究のために,芸術の状態を再評価することの重要性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T23:53:27Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Make Your Decision Convincing! A Unified Two-Stage Framework: Self-Attribution and Decision-Making [24.906886146275127]
  自己貢献・意思決定(SADM)として知られる統合された2段階の枠組みを提案する。 我々のフレームワークは、生成した合理性とモデル決定とのより信頼性の高いリンクを確立するだけでなく、タスク性能と合理性の品質の競争結果も達成している。
  論文  参考訳（メタデータ） (2023-10-20T15:59:57Z)
• SocREval: Large Language Models with the Socratic Method for Reference-Free Reasoning Evaluation [78.23119125463964]
  我々は,参照フリー推論評価における新規な設計手法であるSocREvalを開発した。 SocREvalはGPT-4の性能を大幅に改善し、既存の参照フリーおよび参照ベース推論評価指標を上回っている。
  論文  参考訳（メタデータ） (2023-09-29T18:25:46Z)
• Does Self-Rationalization Improve Robustness to Spurious Correlations? [19.553357015260687]
  自己合理化のためのトレーニングモデルが、正しい理由でタスクを解決するための学習に役立つかどうかを問う。 細調整エンコーダデコーダとデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデオーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダのロバスト性の評価を行った。 自己組織化は低リソース環境での相関関係を刺激することでロバスト性を改善することができるが、高リソース環境ではロバスト性を損なう傾向にある。
  論文  参考訳（メタデータ） (2022-10-24T19:54:57Z)
• Modeling Bounded Rationality in Multi-Agent Simulations Using Rationally Inattentive Reinforcement Learning [85.86440477005523]
  我々は、人間不合理性の確立されたモデルであるRational Inattention(RI)モデルを含む、より人間的なRLエージェントについて検討する。 RIRLは、相互情報を用いた認知情報処理のコストをモデル化する。 我々は、RIRLを用いることで、合理的な仮定の下で発見されたものと異なる、新しい平衡挙動の豊富なスペクトルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-18T20:54:00Z)
• A Framework for Rationale Extraction for Deep QA models [18.810643224314223]
  我々は「統合グラディエント」を用いて、読解に基づく質問回答(RCQA)タスクにおける既存の最先端モデルの理論的根拠を抽出する。 抽出された有理数の40～80%は人間の有理数の6～19%が抽出された有理数の6～19%しか存在しない(リコール)。
  論文  参考訳（メタデータ） (2021-10-09T18:02:55Z)
• Towards Confident Machine Reading Comprehension [7.989756186727329]
  予測後信頼度推定モデルを提案し,これをMr.C(Mr.C)と呼ぶ。 自信) mr.cは、曲線(auc)の下の領域で測定された最大4ポイントの改善によって、不正な予測を控えるシステムの能力を改善するために訓練することができる。
  論文  参考訳（メタデータ） (2021-01-20T03:02:12Z)
• Measuring Association Between Labels and Free-Text Rationales [60.58672852655487]
  解釈可能なNLPでは、説明された例に対するモデルの意思決定プロセスを反映した忠実な理性が必要です。 情報抽出型タスクに対する忠実な抽出合理化のための既存のモデルであるパイプラインは、自由テキスト合理化を必要とするタスクに確実に拡張されないことを示す。 我々は、信頼が確立されていない自由文合理化のための、広く使われている高性能モデルのクラスである、共同予測と合理化のモデルに目を向ける。
  論文  参考訳（メタデータ） (2020-10-24T03:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。