論文の概要: Why do you think that? Exploring Faithful Sentence-Level Rationales Without Supervision

• arxiv url: http://arxiv.org/abs/2010.03384v1
• Date: Wed, 7 Oct 2020 12:54:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 23:21:27.747943
• Title: Why do you think that? Exploring Faithful Sentence-Level Rationales Without Supervision
• Title（参考訳）: なぜそう思うのですか。 監督なしの忠実な文レベルの合理性を探る
• Authors: Max Glockner, Ivan Habernal, Iryna Gurevych
• Abstract要約: 文レベルで忠実な論理を出力するモデルを作成するために,異なる訓練枠組みを提案する。 本モデルでは,各理性に基づいて各課題を個別に解決し,その課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。
• 参考スコア（独自算出の注目度）: 60.62434362997016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating the trustworthiness of a model's prediction is essential for differentiating between `right for the right reasons' and `right for the wrong reasons'. Identifying textual spans that determine the target label, known as faithful rationales, usually relies on pipeline approaches or reinforcement learning. However, such methods either require supervision and thus costly annotation of the rationales or employ non-differentiable models. We propose a differentiable training-framework to create models which output faithful rationales on a sentence level, by solely applying supervision on the target task. To achieve this, our model solves the task based on each rationale individually and learns to assign high scores to those which solved the task best. Our evaluation on three different datasets shows competitive results compared to a standard BERT blackbox while exceeding a pipeline counterpart's performance in two cases. We further exploit the transparent decision-making process of these models to prefer selecting the correct rationales by applying direct supervision, thereby boosting the performance on the rationale-level.
• Abstract（参考訳）: モデル予測の信頼性を評価することは、「正しい理由のための権利」と「間違った理由のための権利」の区別に不可欠である。 忠実な合理性として知られる目標ラベルを決定するテキストスパンの識別は通常、パイプラインアプローチや強化学習に依存する。 しかし、そのような方法には監督が必要であり、したがって合理的な注釈をコストがかかるか、微分不可能なモデルを採用する。 対象タスクにのみ監督を適用することで,文レベルで忠実な合理性を示すモデルを作成するための,微分可能なトレーニングフレームワークを提案する。 そこで本モデルでは,各課題を個別に解き,課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。 3つの異なるデータセットに対する評価は、標準的なBERTブラックボックスと比較して、パイプラインの性能を2つのケースで上回る結果を示した。 さらに,これらのモデルの透明な意思決定過程を活用し,直接的な監督を行うことで,正しい合理性の選択を優先し,合理性レベルでのパフォーマンスを高める。

関連論文リスト

• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Improving Language Model Reasoning with Self-motivated Learning [60.779625789039486]
  textitSelfをモチベーションとする学習フレームワークは、モデル自体をモチベーションとして、既存のデータセットで合理性を自動的に生成する。 我々は,有理数の品質を評価するためにランク付き報酬モデルを訓練し,強化学習による推論の性能向上を図る。
  論文  参考訳（メタデータ） (2024-04-10T14:05:44Z)
• Plausible Extractive Rationalization through Semi-Supervised Entailment Signal [29.67884478799914]
  抽出された有理量の妥当性を最適化するために,半教師付きアプローチを採用する。 我々は、事前学習された自然言語推論(NLI)モデルを採用し、さらに教師付き論理の小さなセットに微調整する。 質問応答タスクにおける説明と回答のアライメント合意を強制することにより、真理ラベルにアクセスせずに性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-13T14:12:32Z)
• Boosting the Power of Small Multimodal Reasoning Models to Match Larger Models with Self-Consistency Training [49.3242278912771]
  マルチモーダル推論(multimodal reasoning)は、複数のモーダルをまたいだモデルによる質問に答える難しいタスクである。 既存のアプローチでは、言語と視覚のモダリティを2段階の推論フレームワークに組み込むことで進歩している。 MC-CoTは,複数の合理性と回答を生成し,投票プロセスを通じて最も正確な選択を行う自己整合性学習戦略である。
  論文  参考訳（メタデータ） (2023-11-23T17:09:48Z)
• Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
  バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。 しかし、モデルスコアは真の肯定率と一致しないことが多い。 これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
  論文  参考訳（メタデータ） (2023-11-20T12:40:25Z)
• Make Your Decision Convincing! A Unified Two-Stage Framework: Self-Attribution and Decision-Making [24.906886146275127]
  自己貢献・意思決定(SADM)として知られる統合された2段階の枠組みを提案する。 我々のフレームワークは、生成した合理性とモデル決定とのより信頼性の高いリンクを確立するだけでなく、タスク性能と合理性の品質の競争結果も達成している。
  論文  参考訳（メタデータ） (2023-10-20T15:59:57Z)
• Evaluating the Evaluators: Are Current Few-Shot Learning Benchmarks Fit for Purpose? [11.451691772914055]
  本稿では,タスクレベル評価に関する最初の研究について述べる。 数ショット設定における性能推定器の精度を測定した。 評価者の失敗の理由を, 多くの場合, 頑健であると考えられる理由について検討する。
  論文  参考訳（メタデータ） (2023-07-06T02:31:38Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• An Interpretable Loan Credit Evaluation Method Based on Rule Representation Learner [8.08640000394814]
  我々は、Lending ClubデータセットのRRL(Rule Representation)に基づいて、本質的に解釈可能なモデルを設計する。 トレーニング中、私たちは以前の研究から、バイナリウェイトを効果的にトレーニングするためのトリックを学びました。 本モデルは,ポストホック法により生成された説明の正当性を検証するために用いられる。
  論文  参考訳（メタデータ） (2023-04-03T05:55:04Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。