論文の概要: Layered Insights: Generalizable Analysis of Authorial Style by Leveraging All Transformer Layers

• arxiv url: http://arxiv.org/abs/2503.00958v1
• Date: Sun, 02 Mar 2025 16:47:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:20:28.662793
• Title: Layered Insights: Generalizable Analysis of Authorial Style by Leveraging All Transformer Layers
• Title（参考訳）: Layered Insights: すべてのトランスフォーマーレイヤを活用することによって,オーサライザスタイルの一般化可能な解析
• Authors: Milad Alshomary, Nikhil Reddy Varimalla, Vishal Anand, Kathleen McKeown,
• Abstract要約: 本稿では,事前学習したトランスフォーマーモデルの各層で学習した様々な言語表現を活用する,著者帰属タスクのための新しいアプローチを提案する。 我々は、ドメイン内およびドメイン外シナリオにおける最先端のベースラインと比較し、3つのデータセットに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 14.594457512038549
• License:
• Abstract: We propose a new approach for the authorship attribution task that leverages the various linguistic representations learned at different layers of pre-trained transformer-based models. We evaluate our approach on three datasets, comparing it to a state-of-the-art baseline in in-domain and out-of-domain scenarios. We found that utilizing various transformer layers improves the robustness of authorship attribution models when tested on out-of-domain data, resulting in new state-of-the-art results. Our analysis gives further insights into how our model's different layers get specialized in representing certain stylistic features that benefit the model when tested out of the domain.
• Abstract（参考訳）: 本稿では,事前学習したトランスフォーマーモデルの各層で学習した様々な言語表現を活用する,著者帰属タスクのための新しいアプローチを提案する。 我々は、ドメイン内およびドメイン外シナリオにおける最先端のベースラインと比較し、3つのデータセットに対するアプローチを評価した。 その結果, 様々なトランスフォーマー層を利用することで, ドメイン外のデータでテストした場合のオーサシップ属性モデルのロバスト性が向上し, 新たな結果が得られた。 私たちの分析は、ドメイン外でテストした場合に、モデルに利益をもたらす特定のスタイル的特徴を表現するために、モデルの異なるレイヤがどのように特殊化されるかについて、さらなる洞察を与えます。

関連論文リスト

• FDS: Feedback-guided Domain Synthesis with Multi-Source Conditional Diffusion Models for Domain Generalization [19.0284321951354]
  ドメイン一般化技術は、トレーニング中に新しいデータ分布をシミュレートすることで、モデルロバスト性を高めることを目的としている。 本稿では、拡散モデルを用いて新しい擬似ドメインを合成するFDS、フィードバック誘導ドメイン合成法を提案する。 本手法は, 領域一般化性能のベンチマークを, 様々な課題のあるデータセットに分けて設定することを示す。
  論文  参考訳（メタデータ） (2024-07-04T02:45:29Z)
• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Understanding Domain Learning in Language Models Through Subpopulation Analysis [35.16003054930906]
  現代のニューラルネットワークアーキテクチャにおいて、異なるドメインがどのようにコード化されているかを調べる。 我々は、自然言語領域、モデルサイズ、使用したトレーニングデータ量との関係を分析する。
  論文  参考訳（メタデータ） (2022-10-22T21:12:57Z)
• Multiple-Source Domain Adaptation via Coordinated Domain Encoders and Paired Classifiers [1.52292571922932]
  ドメインシフトの下でのテキスト分類の新しいモデルを提案する。 更新表現を利用して、ドメインエンコーダを動的に統合する。 また、ターゲットドメインのエラー率を推測するために確率モデルも採用している。
  論文  参考訳（メタデータ） (2022-01-28T00:50:01Z)
• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)
• Domain Generalization via Gradient Surgery [5.38147998080533]
  現実のアプリケーションでは、マシンラーニングモデルは、トレーニングとテストドメイン間のデータ分散の変化があるシナリオに直面します。 本研究では,ドメインシフトのシナリオに現れる矛盾する勾配を特徴付けるとともに,新たな勾配合意戦略を考案する。
  論文  参考訳（メタデータ） (2021-08-03T16:49:25Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Hierarchical Domain-Adapted Feature Learning for Video Saliency Prediction [15.270499225813841]
  本稿では,ビデオ・サリエンシ予測のための3次元完全畳み込みアーキテクチャを提案する。 ドメイン適応とドメイン固有学習の2つの手法を用いて,基本階層学習機構を提供する。 実験の結果,提案モデルにより,教師付きサリエンシ予測における最先端の精度が得られた。
  論文  参考訳（メタデータ） (2020-10-02T23:00:00Z)
• Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation [109.89213619785676]
  各クラスにラベル付き画像がほとんどない新しいカテゴリを識別することを目的としている。 既存のメトリックベースの数ショット分類アルゴリズムは、クエリ画像の特徴埋め込みとラベル付き画像の特徴埋め込みを比較して、カテゴリを予測する。 有望な性能が証明されているが、これらの手法は目に見えない領域に一般化できないことが多い。
  論文  参考訳（メタデータ） (2020-01-23T18:55:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。