論文の概要: Recidivism and Peer Influence with LLM Text Embeddings in Low Security Correctional Facilities
- arxiv url: http://arxiv.org/abs/2509.20634v1
- Date: Thu, 25 Sep 2025 00:14:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-26 20:58:12.635382
- Title: Recidivism and Peer Influence with LLM Text Embeddings in Low Security Correctional Facilities
- Title(参考訳): 低セキュリティ矯正施設におけるLLMテキスト埋め込みの再現性とピアの影響
- Authors: Shanjukta Nath, Jiwon Hong, Jae Ho Chang, Keith Warren, Subhadeep Paul,
- Abstract要約: 低セキュリティ矯正施設の住民の間で8,000-120,000の事前訓練されたトランスフォーマーベース大規模言語モデル(LLM)を用いて得られたAI埋め込みを再現性が高く予測する。
ネットワーク内在性を考慮した多変量ピアエフェクトモデルを用いて,これらのLLM生成言語におけるピアエフェクトを推定する。
これらの新しい手法により、対話やフィードバックのための言語利用において重要なピア効果が得られます。
- 参考スコア(独自算出の注目度): 1.7072337666116733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We find AI embeddings obtained using a pre-trained transformer-based Large Language Model (LLM) of 80,000-120,000 written affirmations and correction exchanges among residents in low-security correctional facilities to be highly predictive of recidivism. The prediction accuracy is 30\% higher with embedding vectors than with only pre-entry covariates. However, since the text embedding vectors are high-dimensional, we perform Zero-Shot classification of these texts to a low-dimensional vector of user-defined classes to aid interpretation while retaining the predictive power. To shed light on the social dynamics inside the correctional facilities, we estimate peer effects in these LLM-generated numerical representations of language with a multivariate peer effect model, adjusting for network endogeneity. We develop new methodology and theory for peer effect estimation that accommodate sparse networks, multivariate latent variables, and correlated multivariate outcomes. With these new methods, we find significant peer effects in language usage for interaction and feedback.
- Abstract(参考訳): 低セキュリティ矯正施設の住民の間で8,000-120,000の事前訓練されたトランスフォーマーベース大規模言語モデル(LLM)を用いて得られたAI埋め込みを再現性が高く予測する。
予測精度は、埋め込みベクトルでは前入射共変量のみよりも30\%高い。
しかし,テキスト埋め込みベクトルは高次元であるため,これらのテキストをユーザ定義クラスの低次元ベクトルに分類し,予測力を保ちながら解釈を支援する。
補正施設内の社会的ダイナミクスを明らかにするため,多変数のピアエフェクトモデルを用いたLLM生成言語におけるピアエフェクトを推定し,ネットワーク内在性に適応する。
我々は,スパースネットワーク,多変量潜伏変数,相関多変量結果に対応するピアエフェクト推定のための新しい方法論と理論を開発した。
これらの新しい手法により、対話やフィードバックのための言語利用において重要なピア効果が得られます。
関連論文リスト
- Quantile Regression with Large Language Models for Price Prediction [15.277244542405345]
大規模言語モデル(LLM)は、回帰を含む構造化予測タスクにおいて有望であることを示している。
我々は,LLMが完全な予測分布を生成できる新しい量子レグレッション手法を提案する。
量子ヘッドを微調整したMistral-7Bモデルは、点推定と分布推定の両方において従来の手法よりも大幅に優れている。
論文 参考訳(メタデータ) (2025-06-07T04:19:28Z) - Transformers are Minimax Optimal Nonparametric In-Context Learners [36.291980654891496]
大規模言語モデルのコンテキスト内学習は、いくつかの実証的な例から新しいタスクを学ぶのに驚くほど効果的な方法であることが証明されている。
我々は,ディープニューラルネットワークと1つの線形アテンション層からなる変圧器の近似および一般化誤差境界を開発する。
十分に訓練されたトランスフォーマーは、文脈における最小推定リスクを達成し、改善できることを示す。
論文 参考訳(メタデータ) (2024-08-22T08:02:10Z) - Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-24T06:15:15Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - UZH_CLyp at SemEval-2023 Task 9: Head-First Fine-Tuning and ChatGPT Data
Generation for Cross-Lingual Learning in Tweet Intimacy Prediction [3.1798318618973362]
本稿では,SemEval 2023 Task 9「Multilingual Tweet Intimacy Analysis」に対するUZH_CLypの提出について述べる。
公式なピアソン相関回帰評価尺度により,全10言語で2番目に高い結果を得た。
論文 参考訳(メタデータ) (2023-03-02T12:18:53Z) - Estimating the Adversarial Robustness of Attributions in Text with
Transformers [44.745873282080346]
リプシッツ連続性に基づくテキスト分類における帰属ロバスト性(AR)の新たな定義を確立する。
そこで我々は,テキスト分類における属性の厳密な推定を行う強力な敵であるTransformerExplanationAttack (TEA)を提案する。
論文 参考訳(メタデータ) (2022-12-18T20:18:59Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-09T10:55:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。