論文の概要: Beyond Keywords: A Context-based Hybrid Approach to Mining Ethical Concern-related App Reviews
- arxiv url: http://arxiv.org/abs/2411.07398v1
- Date: Mon, 11 Nov 2024 22:08:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:19:38.465257
- Title: Beyond Keywords: A Context-based Hybrid Approach to Mining Ethical Concern-related App Reviews
- Title（参考訳）: Beyond Keywords: 倫理的懸念に関するアプリレビューをマイニングするためのコンテキストベースのハイブリッドアプローチ
- Authors: Aakash Sorathiya, Gouri Ginde,
- Abstract要約: 倫理的懸念に関連するアプリケーションレビューは一般的にドメイン固有の言語を使用し、より多様な語彙を使って表現される。
本研究では、自然言語推論(NLI)とデコーダ限定(LLaMAライク)大規模言語モデル(LLM)を組み合わせて、倫理的関心事に関するアプリレビューを大規模に抽出する、新しい自然言語処理(NLI)アプローチを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: With the increasing proliferation of mobile applications in our everyday experiences, the concerns surrounding ethics have surged significantly. Users generally communicate their feedback, report issues, and suggest new functionalities in application (app) reviews, frequently emphasizing safety, privacy, and accountability concerns. Incorporating these reviews is essential to developing successful products. However, app reviews related to ethical concerns generally use domain-specific language and are expressed using a more varied vocabulary. Thus making automated ethical concern-related app review extraction a challenging and time-consuming effort. This study proposes a novel Natural Language Processing (NLP) based approach that combines Natural Language Inference (NLI), which provides a deep comprehension of language nuances, and a decoder-only (LLaMA-like) Large Language Model (LLM) to extract ethical concern-related app reviews at scale. Utilizing 43,647 app reviews from the mental health domain, the proposed methodology 1) Evaluates four NLI models to extract potential privacy reviews and compares the results of domain-specific privacy hypotheses with generic privacy hypotheses; 2) Evaluates four LLMs for classifying app reviews to privacy concerns; and 3) Uses the best NLI and LLM models further to extract new privacy reviews from the dataset. Results show that the DeBERTa-v3-base-mnli-fever-anli NLI model with domain-specific hypotheses yields the best performance, and Llama3.1-8B-Instruct LLM performs best in the classification of app reviews. Then, using NLI+LLM, an additional 1,008 new privacy-related reviews were extracted that were not identified through the keyword-based approach in previous research, thus demonstrating the effectiveness of the proposed approach.
- Abstract（参考訳）: 日常生活におけるモバイルアプリケーションの普及に伴い、倫理に関する懸念は大幅に高まっている。
ユーザは一般的にフィードバックを伝え、問題を報告し、アプリケーション(アプリケーション)レビューの新機能を提案する。
これらのレビューを組み込むことは、成功する製品を開発する上で不可欠である。
しかし、倫理的懸念に関連するアプリレビューは一般的にドメイン固有の言語を使用し、より多様な語彙を用いて表現される。
したがって、倫理的懸念に関連するアプリレビューの自動抽出は、困難で時間を要する作業である。
本研究では,自然言語推論(NLI)とデコーダ限定(LLaMAライク)大規模言語モデル(LLM)を組み合わせて,倫理的関心事に関するアプリレビューを大規模に抽出する手法を提案する。
メンタルヘルス分野における43,647のアプリレビューを活用する方法の提案
1)4つのNLIモデルを評価し、潜在的なプライバシーレビューを抽出し、ドメイン固有のプライバシ仮説と一般的なプライバシ仮説を比較します。
2)アプリレビューをプライバシー問題に分類するための4つのLCMの評価
3) 最高のNLIモデルとLLMモデルを使用して、データセットから新たなプライバシレビューを抽出する。
その結果、ドメイン固有の仮説を持つDeBERTa-v3-base-mnli-fever-anli NLIモデルが最も優れた性能を示し、Llama3.1-8B-Instruct LLMはアプリレビューの分類において最適であることがわかった。
そして,NLI+LLMを用いて,キーワードベースのアプローチでは特定できなかった1008件の新たなプライバシ関連レビューを抽出し,提案手法の有効性を実証した。
関連論文リスト
- On Active Privacy Auditing in Supervised Fine-tuning for White-Box Language Models [7.275432177367344]
パーシングは、言語モデル(LM)の教師付き微調整中にプライバシー漏洩リスクを特定し定量化するように設計されている。
我々は,GPT-2,Llama2などの大規模LMに対するMIA(White-box Membering Inference attack)の有効性を改善した。
本研究の目的は,LMのSFTコミュニティに対して,信頼性と使用可能なプライバシ監査ツールの提供と,微調整プロセス中のプライバシ保護に関する貴重な洞察を提供することである。
論文 参考訳（メタデータ） (2024-11-11T15:46:07Z) - PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳（メタデータ） (2024-08-29T17:58:38Z) - Towards Extracting Ethical Concerns-related Software Requirements from App Reviews [0.0]
本研究は、Uberモバイルアプリ(人気のタクシー/ライドアプリ)のアプリレビューを分析した。
アプリレビューからソフトウェア要件を抽出するために知識グラフ(KG)モデルを活用する新しいアプローチを提案する。
私たちのフレームワークは,関連するエンティティと関係を持ったオントロジーを開発すること,アプリレビューから重要なエンティティを抽出すること,それら間のコネクションを作成すること,という3つの主要コンポーネントで構成されています。
論文 参考訳（メタデータ） (2024-07-19T04:50:32Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳（メタデータ） (2023-11-13T15:08:59Z) - PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [42.20437015301152]
言語モデル(LM)のプライバシー漏洩を評価するベンチマークであるPrivLM-Benchを提案する。
DPパラメータのみを報告するのではなく、PrivLM-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。
メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-11-07T14:55:52Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-10-27T04:15:30Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳（メタデータ） (2023-10-03T22:37:01Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:12:43Z) - SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models [55.60306377044225]
「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。
本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
論文 参考訳（メタデータ） (2023-03-15T19:31:21Z) - Mining User Privacy Concern Topics from App Reviews [10.776958968245589]
アプリストアのアプリレビューを通じて、プライバシー上の懸念を訴えるユーザーが増えている。
プライバシーに関する懸念をユーザーレビューから効果的に掘り下げる主な課題は、プライバシーに関する懸念を表すレビューが、より一般的なテーマや騒々しいコンテンツを表す多くのレビューによって過大評価されているという事実にある。
本研究では,この課題を克服するための新しい自動化手法を提案する。
論文 参考訳（メタデータ） (2022-12-19T08:07:27Z) - Stretching Sentence-pair NLI Models to Reason over Long Documents and
Clusters [35.103851212995046]
自然言語推論(NLI)は,文ペア間の意味的関係を推定するフレームワークとして,NLPコミュニティによって広く研究されている。
我々は、NLIモデルの実アプリケーションへの直接ゼロショット適用性について、訓練された文ペア設定を超えて検討する。
本研究では,ContractNLIデータセット上で,フルドキュメント上で動作し,最先端のパフォーマンスを実現するための新たなアグリゲーション手法を開発した。
論文 参考訳（メタデータ） (2022-04-15T12:56:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。