論文の概要: Are LLM-based methods good enough for detecting unfair terms of service?

• arxiv url: http://arxiv.org/abs/2409.00077v1
• Date: Sat, 24 Aug 2024 09:26:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-08 15:21:17.471645
• Title: Are LLM-based methods good enough for detecting unfair terms of service?
• Title（参考訳）: LLMベースの手法は不公平なサービス条件を検出するのに十分か?
• Authors: Mirgita Frasheri, Arian Bakhtiarnia, Lukas Esterle, Aleksandros Iosifidis,
• Abstract要約: 大規模言語モデル(LLM)は、長いテキストベースの文書を解析するのに適している。 プライバシーポリシーの集合に対して個別に適用された12の質問からなるデータセットを構築します。 いくつかのオープンソースモデルは、いくつかの商用モデルと比較して高い精度を提供できる。
• 参考スコア（独自算出の注目度）: 67.49487557224415
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Countless terms of service (ToS) are being signed everyday by users all over the world while interacting with all kinds of apps and websites. More often than not, these online contracts spanning double-digit pages are signed blindly by users who simply want immediate access to the desired service. What would normally require a consultation with a legal team, has now become a mundane activity consisting of a few clicks where users potentially sign away their rights, for instance in terms of their data privacy, to countless online entities/companies. Large language models (LLMs) are good at parsing long text-based documents, and could potentially be adopted to help users when dealing with dubious clauses in ToS and their underlying privacy policies. To investigate the utility of existing models for this task, we first build a dataset consisting of 12 questions applied individually to a set of privacy policies crawled from popular websites. Thereafter, a series of open-source as well as commercial chatbots such as ChatGPT, are queried over each question, with the answers being compared to a given ground truth. Our results show that some open-source models are able to provide a higher accuracy compared to some commercial models. However, the best performance is recorded from a commercial chatbot (ChatGPT4). Overall, all models perform only slightly better than random at this task. Consequently, their performance needs to be significantly improved before they can be adopted at large for this purpose.
• Abstract（参考訳）: 数え切れないほどのサービス規約(ToS)は、世界中のユーザーが毎日、あらゆる種類のアプリやWebサイトと対話しながら署名している。 多くの場合、この2桁のページにまたがるオンライン契約は、単に希望のサービスに即座にアクセスしたいというユーザーによって盲目的に署名される。 通常、法務チームとの相談を必要とするものは、ユーザーがデータプライバシーの観点から、無数のオンラインエンティティやパートナーに登録する、いくつかのクリックからなる日常的な活動になっている。 大きな言語モデル(LLM)は、長いテキストベースのドキュメントのパースに長けており、ToSの疑わしい条項とその基盤となるプライバシーポリシーを扱う際に、ユーザを支援するために採用される可能性がある。 このタスクのために既存のモデルの有用性を調べるために、まず、人気のあるウェブサイトからクロールされたプライバシーポリシーの集合に対して、個別に適用された12の質問からなるデータセットを構築した。 その後、ChatGPTのような一連のオープンソースおよび商用チャットボットが各質問に対して質問され、回答は与えられた根拠の真実と比較される。 これらの結果から,オープンソースモデルによっては,商用モデルと比較して精度が高いことが示唆された。 しかし、最高のパフォーマンスは商用チャットボット(ChatGPT4)から記録される。 全体として、全てのモデルは、このタスクにおいてランダムよりもわずかにパフォーマンスが良いだけである。 そのため、この目的のために広く採用される前に、パフォーマンスを著しく改善する必要がある。

関連論文リスト

• PAPILLON: PrivAcy Preservation from Internet-based and Local Language MOdel ENsembles [21.340456482528136]
  APIベースおよびローカルモデルをチェーンする新しいタスクであるPrivacy-Conscious Delegationを提案する。 我々は最近のユーザ-LLMインタラクションの公開コレクションを利用して、PUPAと呼ばれる自然なベンチマークを構築する。 私たちの最高のパイプラインは、85.5%のユーザクエリに対して高い応答品質を維持しながら、プライバシリークを7.5%に制限しています。
  論文  参考訳（メタデータ） (2024-10-22T16:00:26Z)
• Entailment-Driven Privacy Policy Classification with LLMs [3.564208334473993]
  本稿では,プライバシーポリシーの段落をユーザが容易に理解できる意味のあるラベルに分類する枠組みを提案する。 私たちのフレームワークは、F1スコアを平均11.2%改善します。
  論文  参考訳（メタデータ） (2024-09-25T05:07:05Z)
• WildChat: 1M ChatGPT Interaction Logs in the Wild [88.05964311416717]
  WildChatは100万件のユーザー・チャットGPT会話のコーパスで、250万回以上のインタラクション・ターンで構成されている。 タイムスタンプによるチャットの書き起こしに加えて、州、国、ハッシュIPアドレスを含む人口統計データでデータセットを豊かにします。
  論文  参考訳（メタデータ） (2024-05-02T17:00:02Z)
• Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference [48.99117537559644]
  人間の好みに基づいた大規模言語モデル(LLM)を評価するオープンプラットフォームであるArenaを紹介する。 本手法は,クラウドソーシングを通じて,多種多様なユーザベースからのインプットを活用する。 本稿では,このプラットフォームについて述べるとともに,これまでに収集したデータを分析し,実際に使用している統計的手法について説明する。
  論文  参考訳（メタデータ） (2024-03-07T01:22:38Z)
• Differentially Private Synthetic Data via Foundation Model APIs 2: Text [56.13240830670327]
  現実世界で生成された高品質なテキストデータはプライベートであり、プライバシー上の懸念から自由に共有したり、利用したりすることはできない。 テキストの複雑な設定に適用可能な拡張PEアルゴリズムであるAug-PEを提案する。 その結果, Aug-PE は SOTA DP の微調整ベースラインと競合する DP 合成テキストを生成することがわかった。
  論文  参考訳（メタデータ） (2024-03-04T05:57:50Z)
• PolicyGPT: Automated Analysis of Privacy Policies with Large Language Models [41.969546784168905]
  実際に使う場合、ユーザーは慎重に読むのではなく、Agreeボタンを直接クリックする傾向がある。 このプラクティスは、プライバシーの漏洩や法的問題のリスクにユーザをさらけ出す。 近年,ChatGPT や GPT-4 などの大規模言語モデル (LLM) が出現し,テキスト解析の新たな可能性が高まっている。
  論文  参考訳（メタデータ） (2023-09-19T01:22:42Z)
• Protecting User Privacy in Online Settings via Supervised Learning [69.38374877559423]
  我々は、教師付き学習を活用する、オンラインプライバシ保護に対するインテリジェントなアプローチを設計する。 ユーザのプライバシを侵害する可能性のあるデータ収集を検出してブロックすることにより、ユーザに対してある程度のディジタルプライバシを復元することが可能になります。
  論文  参考訳（メタデータ） (2023-04-06T05:20:16Z)
• FedBot: Enhancing Privacy in Chatbots with Federated Learning [0.0]
  Federated Learning(FL)は、データをその場所に保持する分散学習方法を通じて、データのプライバシを保護することを目的としている。 POCはDeep Bidirectional Transformerモデルとフェデレーション学習アルゴリズムを組み合わせて、コラボレーティブモデルトレーニング中の顧客のデータプライバシを保護する。 このシステムは、過去のインタラクションから学習する能力を活用することで、時間とともにパフォーマンスと精度を向上させるように設計されている。
  論文  参考訳（メタデータ） (2023-04-04T23:13:52Z)
• Compliance Checking with NLI: Privacy Policies vs. Regulations [0.0]
  我々は、自然言語推論技術を用いて、大企業の選択したプライバシーポリシーのセクションとプライバシー規制を比較します。 本モデルでは,BiLSTMのアテンション機構とともに,事前学習した埋め込みを用いている。
  論文  参考訳（メタデータ） (2022-03-01T17:27:16Z)
• Mining Implicit Relevance Feedback from User Behavior for Web Question Answering [92.45607094299181]
  本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。 提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。 実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
  論文  参考訳（メタデータ） (2020-06-13T07:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。