論文の概要: Evaluation of LLMs-based Hidden States as Author Representations for Psychological Human-Centered NLP Tasks

• arxiv url: http://arxiv.org/abs/2503.00124v1
• Date: Fri, 28 Feb 2025 19:10:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:40.314776
• Title: Evaluation of LLMs-based Hidden States as Author Representations for Psychological Human-Centered NLP Tasks
• Title（参考訳）: 心理学的人間中心NLP課題の著者表現としてのLLMに基づく隠れ状態の評価
• Authors: Nikita Soni, Pranav Chitale, Khushboo Singh, Niranjan Balasubramanian, H. Andrew Schwartz,
• Abstract要約: 我々は,異なるLMアーキテクチャとHuLMアーキテクチャを用いて,文書やユーザを表現するさまざまな方法を評価する。 文書をトークン隠蔽状態の平均として表すことが,一般に最善であることがわかった。 ユーザレベルの隠蔽状態自体が最高の表現であることはめったにないが、モデルに含めることでトークンやドキュメントの埋め込みが強化される。
• 参考スコア（独自算出の注目度）: 16.84653364200034
• License:
• Abstract: Like most of NLP, models for human-centered NLP tasks -- tasks attempting to assess author-level information -- predominantly use representations derived from hidden states of Transformer-based LLMs. However, what component of the LM is used for the representation varies widely. Moreover, there is a need for Human Language Models (HuLMs) that implicitly model the author and provide a user-level hidden state. Here, we systematically evaluate different ways of representing documents and users using different LM and HuLM architectures to predict task outcomes as both dynamically changing states and averaged trait-like user-level attributes of valence, arousal, empathy, and distress. We find that representing documents as an average of the token hidden states performs the best generally. Further, while a user-level hidden state itself is rarely the best representation, we find its inclusion in the model strengthens token or document embeddings used to derive document- and user-level representations resulting in best performances.
• Abstract（参考訳）: NLPのほとんどのモデルと同様に、人間中心のNLPタスク -- 著者レベルの情報を評価するタスク -- は、主にトランスフォーマーベースのLLMの隠された状態から派生した表現を使用する。 しかし、LMのどのコンポーネントが表現に使われているかは様々である。 さらに、著者を暗黙的にモデル化し、ユーザレベルの隠れ状態を提供するHuLM(Human Language Models)が必要である。 そこで我々は,異なるLMアーキテクチャとHummアーキテクチャを用いて文書やユーザを表現する手法を,動的に変化する状態と,有意性,覚醒性,共感性,苦悩といった,特性的なユーザレベルの属性の両方で予測するために,体系的に評価した。 文書をトークン隠蔽状態の平均として表すことが,一般に最善であることがわかった。 さらに、ユーザレベルの隠蔽状態自体が最高の表現であることはめったにないが、そのモデルに含まれることは、ドキュメントやユーザレベルの表現を導出するために使用されるトークンやドキュメントの埋め込みを強化し、最高のパフォーマンスをもたらす。

関連論文リスト

• Large Language Models Struggle to Describe the Haystack without Human Help: Human-in-the-loop Evaluation of LLMs [41.08246070544371]
  本研究では,教師なし,教師なしの大規模言語モデルを用いて,ユーザが獲得する知識を計測する。 LLMは人間の助けなしに大規模なコーパスの干ばつ、特にドメイン固有のデータを記述するのに苦労している。
  論文  参考訳（メタデータ） (2025-02-20T17:19:41Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• Knowledge-Centric Templatic Views of Documents [2.654058995940072]
  著者はしばしば、スライドデッキ、ニュースレター、レポート、ポスターなど、様々な文書形式でアイデアを共有している。 文書生成装置の品質測定に適応できる新しい統一評価フレームワークを提案する。 人間の評価を行い,提案手法を用いて作成した文書の82%を利用者が好んでいることを示す。
  論文  参考訳（メタデータ） (2024-01-13T01:22:15Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Probing Representations for Document-level Event Extraction [30.523959637364484]
  この研究は、文書レベルの情報抽出で学んだ表現に探索パラダイムを適用した最初のものである。 文書レベルのイベント抽出に関連するサーフェス,セマンティクス,イベント理解機能を分析するために,8つの埋め込みプローブを設計した。 これらのモデルからトレーニングされたエンコーダは、わずかに引数の検出とラベリングを改善することができるが、イベントレベルのタスクをわずかに強化するだけである。
  論文  参考訳（メタデータ） (2023-10-23T19:33:04Z)
• LMDX: Language Model-based Document Information Extraction and Localization [23.656970495804963]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらした 視覚的に豊かな文書から情報を抽出する彼らの応用は、まだ成功していない。 このタスクにLLMを採用する主な障害は、LLM内にレイアウトエンコーディングがないことである。
  論文  参考訳（メタデータ） (2023-09-19T22:32:56Z)
• Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
  ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。 自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。 本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
  論文  参考訳（メタデータ） (2023-07-05T20:16:20Z)
• A Comprehensive Survey on Word Representation Models: From Classical to State-Of-The-Art Word Representation Language Models [7.977161233209228]
  調査では、異なる単語表現モデルとその表現力について調べる。 我々は様々なテキスト表現法を記述し、モデル設計はNLPの文脈で花を咲かせてきた。 ML および DL ベースの分類器,評価指標,およびこれらの単語を異なる NLP タスクに埋め込んだ場合の応用について概説する。
  論文  参考訳（メタデータ） (2020-10-28T15:15:13Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)
• SPECTER: Document-level Representation Learning using Citation-informed Transformers [51.048515757909215]
  SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。 SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
  論文  参考訳（メタデータ） (2020-04-15T16:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。