論文の概要: Rationalizing Transformer Predictions via End-To-End Differentiable Self-Training
- arxiv url: http://arxiv.org/abs/2508.11393v1
- Date: Fri, 15 Aug 2025 10:51:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-18 14:51:23.859946
- Title: Rationalizing Transformer Predictions via End-To-End Differentiable Self-Training
- Title（参考訳）: エンド・ツー・エンド微分自己学習による変圧器の合理化予測
- Authors: Marc Brinner, Sina Zarrieß,
- Abstract要約: 本稿では,有理化変換器分類器の安定的な訓練のためのエンドツーエンドの微分可能訓練パラダイムを提案する。
提案手法は,サンプルを同時に分類し,その分類との関連性に基づいて入力トークンをスコアする単一モデルである。
- 参考スコア（独自算出の注目度）: 11.185536513651549
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an end-to-end differentiable training paradigm for stable training of a rationalized transformer classifier. Our approach results in a single model that simultaneously classifies a sample and scores input tokens based on their relevance to the classification. To this end, we build on the widely-used three-player-game for training rationalized models, which typically relies on training a rationale selector, a classifier and a complement classifier. We simplify this approach by making a single model fulfill all three roles, leading to a more efficient training paradigm that is not susceptible to the common training instabilities that plague existing approaches. Further, we extend this paradigm to produce class-wise rationales while incorporating recent advances in parameterizing and regularizing the resulting rationales, thus leading to substantially improved and state-of-the-art alignment with human annotations without any explicit supervision.
- Abstract（参考訳）: 本稿では,有理化変換器分類器の安定的な訓練のためのエンドツーエンドの微分可能訓練パラダイムを提案する。
提案手法は,サンプルを同時に分類し,その分類との関連性に基づいて入力トークンをスコアする単一モデルである。
この目的のために、我々は有理化モデルを訓練するために広く使われている3人プレイヤゲームを構築し、通常は有理化セレクタ、分類器、補完分類器の訓練に頼っている。
このアプローチを単純化するために、単一のモデルを3つの役割をすべて果たすことで、既存のアプローチを悩ませる一般的なトレーニングの不安定さの影響を受けない、より効率的なトレーニングパラダイムを実現します。
さらに,本パラダイムは,近年のパラメータ化と規則化の進歩を取り入れつつ,クラスワイドな論理を創出するために拡張されている。
関連論文リスト
- Grokking ExPLAIND: Unifying Model, Data, and Training Attribution to Study Model Behavior [25.975757048963413]
ポストホックの解釈可能性のメソッドは、通常、モデルの振る舞いをそのコンポーネント、データ、または独立した訓練軌跡に関連付ける。
3つの視点をすべて統合した統合フレームワークであるExPLAINDを紹介します。
論文 参考訳（メタデータ） (2025-05-26T14:53:11Z) - Invariance Pair-Guided Learning: Enhancing Robustness in Neural Networks [0.0]
トレーニングフェーズを通じてニューラルネットワークを誘導する手法を提案する。
従来の勾配降下法を補完する補正勾配を形成する。
ColoredMNIST、Waterbird-100、CelebANISTデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2025-02-26T09:36:00Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
セマンティックセグメンテーションのための自己適応型アプローチを提案する。
整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。
実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
論文 参考訳（メタデータ） (2022-08-10T12:29:01Z) - Incremental Prototype Prompt-tuning with Pre-trained Representation for
Class Incremental Learning [4.717066668969749]
クラスインクリメンタルな学習は多くの注目を集めていますが、既存のほとんどの研究は、表現モデルを継続的に微調整しています。
我々は、事前学習パラダイムを用いて、固定されたセマンティックリッチな事前学習表現モデルに基づいて、新しい視覚概念を逐次学習する。
我々の手法は、多くのマージンを持つ他の最先端手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2022-04-07T12:49:14Z) - Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium
Segmentation [0.0]
本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。
提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
論文 参考訳（メタデータ） (2021-09-20T14:51:42Z) - Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。
プレトレーニング自体が多様性の優れた源であることが示される。
本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-14T07:59:00Z) - Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition
from a Domain Adaptation Perspective [98.70226503904402]
現実世界のオブジェクトの周波数は、しばしば電力法則に従い、長い尾のクラス分布を持つデータセット間のミスマッチを引き起こす。
メタラーニング手法を用いて,クラス条件分布の違いを明示的に推定し,古典的なクラスバランス学習を強化することを提案する。
論文 参考訳（メタデータ） (2020-03-24T11:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。