論文の概要: Psychological Assessments with Large Language Models: A Privacy-Focused
and Cost-Effective Approach
- arxiv url: http://arxiv.org/abs/2402.03435v1
- Date: Mon, 5 Feb 2024 19:00:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 18:25:51.681763
- Title: Psychological Assessments with Large Language Models: A Privacy-Focused
and Cost-Effective Approach
- Title(参考訳): 大規模言語モデルによる心理的評価--プライバシーに焦点をあてた費用効果のアプローチ
- Authors: Sergi Blanco-Cuaresma
- Abstract要約: 本研究では,Redditユーザからのテキストコメントの分析にLLM(Large Language Models)を用いることを検討した。
この作業は、ローカルで実行できる“オープンソース”なLLMを使用することで、データのプライバシが向上する。
その単純さにもかかわらず、評価指標は優れた結果を示しており、プライバシーを重視し、コスト効果の高いアプローチである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study explores the use of Large Language Models (LLMs) to analyze text
comments from Reddit users, aiming to achieve two primary objectives: firstly,
to pinpoint critical excerpts that support a predefined psychological
assessment of suicidal risk; and secondly, to summarize the material to
substantiate the preassigned suicidal risk level. The work is circumscribed to
the use of "open-source" LLMs that can be run locally, thereby enhancing data
privacy. Furthermore, it prioritizes models with low computational
requirements, making it accessible to both individuals and institutions
operating on limited computing budgets. The implemented strategy only relies on
a carefully crafted prompt and a grammar to guide the LLM's text completion.
Despite its simplicity, the evaluation metrics show outstanding results, making
it a valuable privacy-focused and cost-effective approach. This work is part of
the Computational Linguistics and Clinical Psychology (CLPsych) 2024 shared
task.
- Abstract(参考訳): 本研究は,Reddit利用者のテキストコメントの分析にLarge Language Models (LLMs) を用いており,まず,自殺リスクの心理的評価を支持する重要な抜粋を指摘し,さらに,事前に設定された自殺リスクレベルを裏付ける資料を要約する。
この作業は、ローカルで実行できる“オープンソース”なLLMを使用することで、データのプライバシが向上する。
さらに、計算量の低いモデルを優先し、限られた計算予算で運用する個人と機関の両方にアクセスできるようにする。
実装された戦略は、LLMのテキスト補完を導くために、慎重に作られたプロンプトと文法にのみ依存する。
そのシンプルさにもかかわらず、評価指標は優れた結果を示し、価値あるプライバシー重視でコスト効率の良いアプローチとなっている。
この研究は、computational linguistics and clinical psychology (clpsych) 2024の共有タスクの一部である。
関連論文リスト
- Attribute Structuring Improves LLM-Based Evaluation of Clinical Text
Summaries [62.32403630651586]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳(メタデータ) (2024-03-01T21:59:03Z) - DyVal 2: Dynamic Evaluation of Large Language Models by Meta Probing
Agents [47.420587592802775]
我々は,大規模言語モデル(LLM)を評価するための心理指標にインスパイアされた動的評価プロトコルを提案する。
MPAは、探索および判定エージェントを設計し、元の評価問題を3つの基本的な認知能力に関する心理測定理論に従って新しいものに自動的に変換する。
多面的解析により,基本能力とモデルサイズに対する暗黙的マシュー効果の強い相関が示された。
論文 参考訳(メタデータ) (2024-02-21T06:46:34Z) - Selective Forgetting: Advancing Machine Unlearning Techniques and
Evaluation in Language Models [24.784439330058095]
本研究では,個人や機密データを不注意に保持するニューラルモデルに関する懸念について検討する。
言語モデル内で、正確かつ選択的に忘れることを実現するために、新しいアプローチが導入された。
S-EL(Sensitive Information extract Likelihood)とS-MA(Sensitive Information Memory Accuracy)の2つの革新的な評価指標が提案されている。
論文 参考訳(メタデータ) (2024-02-08T16:50:01Z) - Which is better? Exploring Prompting Strategy For LLM-based Metrics [6.681126871165601]
本稿では,DSBA が提案する Prompting Large Language Models を Explainable Metrics 共有タスクとして記述する。
BLEUやROUGEのような従来の類似性に基づくメトリクスは、人間の評価に悪影響を与えており、オープンな生成タスクには適していない。
論文 参考訳(メタデータ) (2023-11-07T06:36:39Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Demonstrations Are All You Need: Advancing Offensive Content
Paraphrasing using In-Context Learning [11.547129568395103]
本稿では,大規模言語モデル(LLM)を用いたICL(In-Context Learning)を探索し,実践者を支援することを目的とする。
本研究は, 実演数と順序, 即時指導の排除, 測定毒性の低下など, 重要な要因に焦点を当てた。
ICLは、世代品質において教師付き手法に匹敵するが、人間の評価では25%、毒性では76%が質的に優れている。
論文 参考訳(メタデータ) (2023-10-16T16:18:55Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Neuro-Symbolic Causal Language Planning with Commonsense Prompting [67.06667162430118]
言語プランニングは、より単純な低レベルステップに分解することで、複雑な高レベルな目標を実装することを目的としている。
以前の手法では、大規模な言語モデルからそのような能力を得るために、手動の例えか注釈付きプログラムが必要である。
本稿では,LLMからの手続き的知識をコモンセンス・インフュージョン・プロンプトにより引き起こすニューロシンボリック因果言語プランナー(CLAP)を提案する。
論文 参考訳(メタデータ) (2022-06-06T22:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。