論文の概要: LLMs & Legal Aid: Understanding Legal Needs Exhibited Through User Queries

• arxiv url: http://arxiv.org/abs/2501.01711v1
• Date: Fri, 03 Jan 2025 09:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:11:11.105652
• Title: LLMs & Legal Aid: Understanding Legal Needs Exhibited Through User Queries
• Title（参考訳）: LLMs & Legal Aid: ユーザクエリで規定された法的ニーズを理解する
• Authors: Michal Kuk, Jakub Harasta,
• Abstract要約: GPT-4oをゼロショット分類に使用し,ユーザによる問題点の事実情報提供に関する質問を分類した。 ユーザニーズに対する定量的かつ質的な洞察と,LCMによるユーザエンゲージメントの理解の向上に寄与する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The paper presents a preliminary analysis of an experiment conducted by Frank Bold, a Czech expert group, to explore user interactions with GPT-4 for addressing legal queries. Between May 3, 2023, and July 25, 2023, 1,252 users submitted 3,847 queries. Unlike studies that primarily focus on the accuracy, factuality, or hallucination tendencies of large language models (LLMs), our analysis focuses on the user query dimension of the interaction. Using GPT-4o for zero-shot classification, we categorized queries on (1) whether users provided factual information about their issue (29.95%) or not (70.05%), (2) whether they sought legal information (64.93%) or advice on the course of action (35.07\%), and (3) whether they imposed requirements to shape or control the model's answer (28.57%) or not (71.43%). We provide both quantitative and qualitative insight into user needs and contribute to a better understanding of user engagement with LLMs.
• Abstract（参考訳）: 本稿では,チェコの専門家グループであるFrank Bold氏が,法的クエリに対処するためのGPT-4とのユーザインタラクションについて,予備的な分析を行った。 2023年5月3日から2023年7月25日までの間に、1,252人のユーザが3,847のクエリを提出した。 大規模言語モデル(LLM)の精度、事実性、幻覚傾向に主眼を置いている研究とは異なり、我々の分析はインタラクションのユーザクエリー次元に焦点を当てている。 ゼロショット分類に GPT-4o を用い,(1) が問題の事実情報(29.95%)を提示したかどうか(70.05%),(2) 法的情報(64.93%)を欲しがっているか(35.07%),(3) モデルの回答の形状や制御の要件(28.57%)を課しているか(71.43%)を問う質問を分類した。 ユーザニーズに対する定量的かつ質的な洞察と,LCMによるユーザエンゲージメントの理解の向上に寄与する。

関連論文リスト

• Fool Me, Fool Me: User Attitudes Toward LLM Falsehoods [13.62116438805314]
  本研究では,Large Language Models (LLMs) による偽造応答に関するユーザの嗜好について検討する。 意外なことに、ユーザの61%は、マークされたものよりも、マークされていない偽りの応答を好む。 以上の結果から,LLM学習に影響を及ぼすユーザの嗜好が不注意に偽造を促進させる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-16T10:10:27Z)
• DRS: Deep Question Reformulation With Structured Output [114.14122339938697]
  大規模言語モデル(LLM)は、解決不可能な質問を検知できるが、これらの質問の修正をユーザーが支援するのに苦労する。 DRS:Deep Question Reformulation with Structured Output, a novel zero-shot method for enhance to LLMs ability to help users in reformulation Question。 DRS は GPT-3.5 の改定精度を 23.03% から 70.42% に改善するとともに,Gemma2-9B などのオープンソースモデルの性能を 26.35% から 56.75% に向上させた。
  論文  参考訳（メタデータ） (2024-11-27T02:20:44Z)
• Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment [59.09144776166979]
  大規模言語モデル(LLM)は、科学的ピアレビューを支援する上で有望だが議論の余地のあるツールである。 本研究は,論文提出を提出基準に適合させるツールとして,会議環境におけるLCMの有用性を評価する。
  論文  参考訳（メタデータ） (2024-11-05T18:58:00Z)
• Evaluating the Impact of a Specialized LLM on Physician Experience in Clinical Decision Support: A Comparison of Ask Avo and ChatGPT-4 [0.3999851878220878]
  臨床意思決定支援システムを強化するための言語モデル(LLM)は、関心が高まりつつあるトピックである。 幻覚や明確な引用の欠如といった現在の欠点は、急速に成長する臨床環境での使用には信頼性が低い。 本研究では,独自のモデル拡張言語検索システムを組み込んだAvoMDによるAsk Avo由来のソフトウェアを評価する。
  論文  参考訳（メタデータ） (2024-09-06T17:53:29Z)
• I Could've Asked That: Reformulating Unanswerable Questions [89.93173151422636]
  我々は、解決不可能な質問を改定するためのオープンソースおよびプロプライエタリなモデルを評価する。 GPT-4とLlama2-7Bは、それぞれ26%と12%しか質問を修正できなかった。 ベンチマークとコードを公開して実験を再現します。
  論文  参考訳（メタデータ） (2024-07-24T17:59:07Z)
• Leveraging Topic Specificity and Social Relationships for Expert Finding in Community Question Answering Platforms [5.723916517485655]
  本稿では,エキスパート検索のためのトピック指向ユーザインタラクションモデルTUEFを提案する。 TUEFは、多層グラフを構築することで、コンテンツとソーシャルデータを統合する。 実験の結果、TUEFはP@1で42.42%、NDCG@3で32.73%、R@5で21.76%、MRRで29.81%という最低パフォーマンスで全てのライバルを上回った。
  論文  参考訳（メタデータ） (2024-07-04T15:50:18Z)
• Employing Label Models on ChatGPT Answers Improves Legal Text Entailment Performance [5.484345596034158]
  ChatGPTは多くの自然言語処理タスクにおいて堅牢である。 ラベルモデルを用いて、ChatGPTによる仮回答を統合ラベルに統合する。 実験の結果、このアプローチは76.15%の精度を達成でき、従来の最先端ベンチマークに比べて8.26%の大幅な改善が達成された。
  論文  参考訳（メタデータ） (2024-01-31T15:04:01Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• The Shifted and The Overlooked: A Task-oriented Investigation of User-GPT Interactions [114.67699010359637]
  実際のユーザクエリの大規模なコレクションをGPTに解析する。 ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
  論文  参考訳（メタデータ） (2023-10-19T02:12:17Z)
• ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
  我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。 我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。 分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
  論文  参考訳（メタデータ） (2023-09-14T16:54:34Z)
• Sentiment Analysis of Users' Reviews on COVID-19 Contact Tracing Apps with a Benchmark Dataset [6.592595861973966]
  接触追跡は、新型コロナウイルスの感染率を制御する戦いで世界的に採用されています。 スマートフォンやウェアラブルデバイスなどのデジタル技術のおかげで、COVID-19患者の連絡先を簡単に追跡し、ウイルスへの潜在的な曝露について知らせることができます。 興味深いモバイルアプリケーションもいくつか開発されている。 しかしながら、これらのアプリケーションの動作メカニズムやパフォーマンスに対する懸念はますます高まっている。 本研究では,クラウドソーシングによる手動アノテーションから始めるパイプラインを提案し,ユーザのレビュー自動感情分析のためのaiモデルの開発とトレーニングについて考察する。
  論文  参考訳（メタデータ） (2021-03-01T18:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。