論文の概要: A Search for Prompts: Generating Structured Answers from Contracts
- arxiv url: http://arxiv.org/abs/2310.10141v1
- Date: Mon, 16 Oct 2023 07:29:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 15:46:20.188813
- Title: A Search for Prompts: Generating Structured Answers from Contracts
- Title（参考訳）: 契約書から構造化回答を生成するプロンプトの探索
- Authors: Adam Roegiest and Radha Chitta and Jonathan Donnelly and Maya Lash and
Alexandra Vtyurina and Fran\c{c}ois Longtin
- Abstract要約: 我々は、契約条項に関する質問に対して、1つ(またはそれ以上)の固定された回答を返そうとする法的質問応答の一形態を示す。
我々は,OpenAIのtextitGPT-3.5-Turbo を用いた法的質問応答プロンプトの探索手法について議論し,洞察の要約を提供する。
- 参考スコア（独自算出の注目度）: 40.99057706243682
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many legal processes being able to action on the concrete implication of a
legal question can be valuable to automating human review or signalling certain
conditions (e.g., alerts around automatic renewal). To support such tasks, we
present a form of legal question answering that seeks to return one (or more)
fixed answers for a question about a contract clause. After showing that
unstructured generative question answering can have questionable outcomes for
such a task, we discuss our exploration methodology for legal question
answering prompts using OpenAI's \textit{GPT-3.5-Turbo} and provide a summary
of insights.
Using insights gleaned from our qualitative experiences, we compare our
proposed template prompts against a common semantic matching approach and find
that our prompt templates are far more accurate despite being less reliable in
the exact response return. With some additional tweaks to prompts and the use
of in-context learning, we are able to further improve the performance of our
proposed strategy while maximizing the reliability of responses as best we can.
- Abstract（参考訳）: 多くの法的プロセスにおいて、法的質問の具体的な含意に基づいて行動できることは、人間のレビューの自動化や特定の条件(例えば、自動更新に関する警告)の合図に有用である。
このようなタスクを支援するために、契約条項に関する質問に対して1つまたはそれ以上の固定された回答を返却しようとする法的質問応答の形式を示す。
このような課題に対して,非構造化質問応答が疑わしい結果をもたらすことを示した後,openai の \textit{gpt-3.5-turbo} を用いた法的質問応答プロンプトの探索手法を議論し,洞察の要約を提供する。
定性的な経験から得られた洞察を用いて、提案したテンプレートプロンプトを共通のセマンティックマッチングアプローチと比較し、正確な応答リターンの信頼性が低いにもかかわらず、我々のプロンプトテンプレートの方がはるかに正確であることを示す。
プロンプトの追加やコンテキスト内学習の利用によって、我々は可能な限り応答の信頼性を最大化しながら、提案した戦略の性能をさらに向上することができる。
関連論文リスト
- Open Domain Question Answering with Conflicting Contexts [55.739842087655774]
あいまいでオープンなドメインの質問の25%は、Google Searchを使って検索すると、コンフリクトのあるコンテキストにつながります。
我々はアノテータに正しい回答の選択についての説明を依頼する。
論文 参考訳（メタデータ） (2024-10-16T07:24:28Z) - Answering Questions in Stages: Prompt Chaining for Contract QA [1.0359008237358598]
複数選択質問に対する構造化された回答を生成するための2段階のプロンプト連鎖を提案する。
我々は、この技術がうまく機能する状況と、さらなる改良が必要な領域を分析する。
論文 参考訳（メタデータ） (2024-10-09T17:14:13Z) - Estimating the Usefulness of Clarifying Questions and Answers for
Conversational Search [17.0363715044341]
本稿では,質問を明確化するための回答処理手法を提案する。
具体的には,利用者が提示した質問と回答の提示による有用性を評価するための分類器を提案する。
その結果, 強い非混合開始基線よりも顕著な改善が認められた。
論文 参考訳（メタデータ） (2024-01-21T11:04:30Z) - Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。
ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。
本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
論文 参考訳（メタデータ） (2023-07-08T04:32:17Z) - Keeping the Questions Conversational: Using Structured Representations
to Resolve Dependency in Conversational Question Answering [26.997542897342164]
本稿では,中間表現を会話の手がかりとして捉え,生成するための新しいフレームワークCONVSR(CONVQA using Structured Representations)を提案する。
我々はQuACとCANARDのデータセット上でモデルをテストし、提案するフレームワークが標準的な質問書き直しモデルよりも優れたF1スコアを達成できることを実験結果により示す。
論文 参考訳（メタデータ） (2023-04-14T13:42:32Z) - Conversational QA Dataset Generation with Answer Revision [2.5838973036257458]
本稿では,一節から質問に値するフレーズを抽出し,過去の会話を考慮し,それに対応する質問を生成する新しい枠組みを提案する。
本フレームワークでは,抽出した回答を質問生成後に修正し,その回答が一致した質問に正確に一致するようにした。
論文 参考訳（メタデータ） (2022-09-23T04:05:38Z) - Multifaceted Improvements for Conversational Open-Domain Question
Answering [54.913313912927045]
対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。
第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。
第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。
第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
論文 参考訳（メタデータ） (2022-04-01T07:54:27Z) - Adaptive Information Seeking for Open-Domain Question Answering [61.39330982757494]
本稿では,オープンドメイン質問応答,すなわちAISOに対する適応型情報探索手法を提案する。
学習方針によると、AISOは適切な検索行動を選択し、各ステップで行方不明の証拠を探すことができる。
AISOは、検索と回答の評価の両方の観点から、事前定義された戦略で全てのベースライン手法を上回ります。
論文 参考訳（メタデータ） (2021-09-14T15:08:13Z) - Open-Retrieval Conversational Machine Reading [80.13988353794586]
会話機械読解では、システムは自然言語規則を解釈し、ハイレベルな質問に答え、フォローアップの明確化を問う必要がある。
既存の作業では、ルールテキストがユーザ毎の質問に対して提供されると仮定し、実際のシナリオにおいて必須の検索ステップを無視する。
本研究では,対話型機械読解のオープンリトリーバル設定を提案し,検討する。
論文 参考訳（メタデータ） (2021-02-17T08:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。