論文の概要: UniREx: A Unified Learning Framework for Language Model Rationale Extraction

• arxiv url: http://arxiv.org/abs/2112.08802v1
• Date: Thu, 16 Dec 2021 11:39:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 15:57:14.674543
• Title: UniREx: A Unified Learning Framework for Language Model Rationale Extraction
• Title（参考訳）: UniREx: 言語モデル推論抽出のための統一学習フレームワーク
• Authors: Aaron Chan, Maziar Sanjabi, Lambert Mathias, Liang Tan, Shaoliang Nie, Xiaochang Peng, Xiang Ren, Hamed Firooz
• Abstract要約: 論理抽出のための統一的で柔軟な学習フレームワークUniRExを提案する。 UniRExは、合理的抽出学習プロセスのエンドツーエンドのカスタマイズを可能にする。 最高のUniREx構成は、5つのデシダラタのバランスが良くなります。
• 参考スコア（独自算出の注目度）: 30.39545674859148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An extractive rationale explains a language model's (LM's) prediction on a given task instance by highlighting the text inputs that most influenced the output. Ideally, rationale extraction should be faithful (reflects LM's behavior), plausible (makes sense to humans), data-efficient, and fast, without sacrificing the LM's task performance. Prior rationale extraction works consist of specialized approaches for addressing various subsets of these desiderata -- but never all five. Narrowly focusing on certain desiderata typically comes at the expense of ignored ones, so existing rationale extractors are often impractical in real-world applications. To tackle this challenge, we propose UniREx, a unified and highly flexible learning framework for rationale extraction, which allows users to easily account for all five factors. UniREx enables end-to-end customization of the rationale extractor training process, supporting arbitrary: (1) heuristic/learned rationale extractors, (2) combinations of faithfulness and/or plausibility objectives, and (3) amounts of gold rationale supervision. Across three text classification datasets, our best UniREx configurations achieve a superior balance of the five desiderata, when compared to strong baselines. Furthermore, UniREx-trained rationale extractors can even generalize to unseen datasets and tasks.
• Abstract（参考訳）: 抽出論理は、出力に最も影響を与えたテキスト入力を強調することで、与えられたタスクインスタンスにおける言語モデルの(lm)予測を説明する。 理想的には、合理的抽出は、LMのタスクパフォーマンスを犠牲にすることなく、忠実(LMの振る舞いを反映)、可塑性(人間にとって意味のあること)、データ効率、高速であるべきである。 事前の論理的な抽出作業は、これらのデシデラタの様々な部分集合に対処するための専門的なアプローチで構成されています。 特定のデシデラタに限定して焦点を合わせることは、一般的に無視されるものであるため、既存の合理的な抽出器は現実世界のアプリケーションでは実用的でないことが多い。 この課題に取り組むために,ユニレックス(unirex)を提案する。ユニレックス(unirex)は,合理性抽出のための統一的で柔軟性の高い学習フレームワークであり,ユーザが5つの要素すべてを簡単に説明できる。 UniREx は,(1) ヒューリスティック/学習有理抽出機,(2) 忠実度と/または妥当性の組合せ,(3) ゴールド有理抽出訓練プロセスのエンドツーエンドのカスタマイズを可能にする。 3つのテキスト分類データセットのうち、我々の最高のUniREx構成は、強いベースラインに比べて5つのデシラタのバランスが優れている。 さらに、UniRExで訓練された有理抽出器は、目に見えないデータセットやタスクに一般化することもできる。

関連論文リスト

• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• AutoRE: Document-Level Relation Extraction with Large Language Models [27.426703757501507]
  我々は、RHF(Relation-Head-Facts)という新しいRE抽出パラダイムを採用した、エンド・ツー・エンドのDocREモデルであるAutoREを紹介する。 既存のアプローチとは異なり、AutoREは既知の関係オプションの仮定に依存しておらず、現実のシナリオをより反映している。 RE-DocREDデータセットの実験では、AutoREの最高のパフォーマンスを示し、最先端の結果が得られました。
  論文  参考訳（メタデータ） (2024-03-21T23:48:21Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)
• GIELLM: Japanese General Information Extraction Large Language Model Utilizing Mutual Reinforcement Effect [0.0]
  汎用情報抽出大言語モデル(GIELLM)について紹介する。 テキスト分類、感性分析、名前付きエンティティ認識、関係抽出、および一様入力出力スキーマを使用したイベント抽出を統合している。 このイノベーションは、このような多様なIEサブタスクを同時に扱うモデルの最初の例である。
  論文  参考訳（メタデータ） (2023-11-12T13:30:38Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• TAGPRIME: A Unified Framework for Relational Structure Extraction [71.88926365652034]
  TAGPRIMEは、与えられた条件に関する情報を入力テキストに追加するシーケンスタグ付けモデルである。 事前学習された言語モデルにおける自己認識機構により、プライミングワードは、出力された文脈化された表現に、与えられた条件に関するより多くの情報を含む。 5つの異なる言語にまたがる10のデータセットをカバーする3つのタスクに関する大規模な実験と分析は、TAGPRIMEの汎用性と有効性を示している。
  論文  参考訳（メタデータ） (2022-05-25T08:57:46Z)
• Improving Multi-Document Summarization through Referenced Flexible Extraction with Credit-Awareness [21.037841262371355]
  MDS(Multi-Document Summarization)における注目すべき課題は、入力の非常に長い長さである。 本稿では,この問題を克服するための抽出・抽出・吸収変換器フレームワークを提案する。 擬似抽出オラクルにない文の不等式の重要性をモデルに認識させる損失重み付け機構を提案する。
  論文  参考訳（メタデータ） (2022-05-04T04:40:39Z)
• Abstract, Rationale, Stance: A Joint Model for Scientific Claim Verification [18.330265729989843]
  我々は,3つのタスクのモジュールを,機械読解フレームワークを用いて共同で学習するアプローチをARSJointとして提案する。 ベンチマークデータセットSciFactの実験結果は、我々のアプローチが既存の作業より優れていることを示している。
  論文  参考訳（メタデータ） (2021-09-13T10:07:26Z)
• Measuring Association Between Labels and Free-Text Rationales [60.58672852655487]
  解釈可能なNLPでは、説明された例に対するモデルの意思決定プロセスを反映した忠実な理性が必要です。 情報抽出型タスクに対する忠実な抽出合理化のための既存のモデルであるパイプラインは、自由テキスト合理化を必要とするタスクに確実に拡張されないことを示す。 我々は、信頼が確立されていない自由文合理化のための、広く使われている高性能モデルのクラスである、共同予測と合理化のモデルに目を向ける。
  論文  参考訳（メタデータ） (2020-10-24T03:40:56Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。