論文の概要: Boosting Explainability through Selective Rationalization in Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2501.03182v1
• Date: Fri, 03 Jan 2025 07:52:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:18.305265
• Title: Boosting Explainability through Selective Rationalization in Pre-trained Language Models
• Title（参考訳）: 事前学習型言語モデルにおける選択的合理化による説明可能性の向上
• Authors: Libing Yuan, Shuaibo Hu, Kui Yu, Le Wu,
• Abstract要約: 自然言語処理(NLP)における事前学習言語モデル(PLM)の広範な適用により、その説明可能性に対する懸念が高まっている。 PLMに既存の合理化フレームワークを適用すると、深刻な退化と失敗の問題が起こり、準最適または無意味な合理性を生み出す。 本稿では, PLMをジェネレータと予測器に分割し, 解釈可能な有理性を提供しながら, NLPタスクに対処するPLMR(Pre-trained Language Model's Rationalization)法を提案する。
• 参考スコア（独自算出の注目度）: 16.409817098221012
• License:
• Abstract: The widespread application of pre-trained language models (PLMs) in natural language processing (NLP) has led to increasing concerns about their explainability. Selective rationalization is a self-explanatory framework that selects human-intelligible input subsets as rationales for predictions. Recent studies have shown that applying existing rationalization frameworks to PLMs will result in severe degeneration and failure problems, producing sub-optimal or meaningless rationales. Such failures severely damage trust in rationalization methods and constrain the application of rationalization techniques on PLMs. In this paper, we find that the homogeneity of tokens in the sentences produced by PLMs is the primary contributor to these problems. To address these challenges, we propose a method named Pre-trained Language Model's Rationalization (PLMR), which splits PLMs into a generator and a predictor to deal with NLP tasks while providing interpretable rationales. The generator in PLMR also alleviates homogeneity by pruning irrelevant tokens, while the predictor uses full-text information to standardize predictions. Experiments conducted on two widely used datasets across multiple PLMs demonstrate the effectiveness of the proposed method PLMR in addressing the challenge of applying selective rationalization to PLMs. Codes: https://github.com/ylb777/PLMR.
• Abstract（参考訳）: 自然言語処理(NLP)における事前学習言語モデル(PLM)の広範な適用により、その説明可能性に対する懸念が高まっている。 選択的合理化(Selective rationalization)は、人間の知的な入力サブセットを予測の合理化として選択する自己説明的フレームワークである。 近年の研究では、既存の合理化フレームワークをPLMに適用すると、深刻な変性と失敗の問題が起こり、準最適または無意味な合理性を生み出すことが示されている。 このような失敗は合理化手法の信頼を著しく損なうとともに、PLMへの合理化手法の適用を制約する。 本稿では, PLM が生成する文中のトークンの均一性が, これらの問題への主要な寄与であることを示す。 これらの課題に対処するために, PLMをジェネレータと予測器に分割し, 解釈可能な理性を提供しながらNLPタスクに対処するPLMR(Pre-trained Language Model's Rationalization)という手法を提案する。 PLMRのジェネレータは無関係なトークンをプルーニングすることで均一性を緩和し、予測器は予測を標準化するためにフルテキスト情報を使用する。 複数のPLMにまたがって広く利用されている2つのデータセットを用いて行った実験は、PLMR法の有効性を示し、PLMRに選択的合理化を適用するという課題に対処する。 コード:https://github.com/ylb777/PLMR。

関連論文リスト

• Investigating the Robustness of Deductive Reasoning with Large Language Models [7.494617747914778]
  大規模言語モデル(LLM)は多くの推論に基づく自然言語処理(NLP)タスクにおいて印象的な結果が得られることが示されている。 LLMが、非公式および自己形式化の両方の手法で、どの程度論理的推論タスクに頑健であるかは、まだ不明である。
  論文  参考訳（メタデータ） (2025-02-04T17:16:51Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment [32.12998469814097]
  大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。 実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-03-05T07:47:34Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
  直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。 提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-03-02T21:13:56Z)
• PINTO: Faithful Language Reasoning Using Prompt-Generated Rationales [42.98229290301891]
  PINTOは、素早い学習を通じて合理化し、反実正則化を通じて合理性を忠実に理化することを学ぶパイプラインである。 PINTO は LM の推理能力を大幅に向上させ, 分布内および分布外の両方で高い性能が得られることを示した。
  論文  参考訳（メタデータ） (2022-11-03T02:55:54Z)
• Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
  最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。 ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。 DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
  論文  参考訳（メタデータ） (2022-05-23T10:11:50Z)
• RuleBert: Teaching Soft Rules to Pre-trained Language Models [21.69870624809201]
  そこで我々は, PLM が与えられた仮説の確率で予測を返すべき, 事実とソフトルールを前提とした分類タスクを導入する。 本研究では, PLM がタスクの正確な確率の予測方法を学習できるように改良された損失関数を提案する。 評価結果から,学習時に見つからない論理的ルールであっても,得られた微調整モデルは非常に高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2021-09-24T16:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。