論文の概要: Reasoning about Ambiguous Definite Descriptions

• arxiv url: http://arxiv.org/abs/2310.14657v1
• Date: Mon, 23 Oct 2023 07:52:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:50:42.364486
• Title: Reasoning about Ambiguous Definite Descriptions
• Title（参考訳）: 曖昧な明確な記述の理由
• Authors: Stefan F. Schouten, Peter Bloem, Ilia Markov, Piek Vossen
• Abstract要約: 自然言語推論は、複雑な言語理解タスクを解く言語モデルの能力を改善する上で重要な役割を果たす。 言語におけるあいまいさを解決するために、大規模言語モデルが明示的な推論をどの程度有効に活用できるかを評価するためのリソースは存在しない。 この目的のためにあいまいな明確な記述を用い、そのようなフレーズからなる最初のベンチマークデータセットを作成し、公開することを提案する。
• 参考スコア（独自算出の注目度）: 2.5398014196797605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language reasoning plays an increasingly important role in improving language models' ability to solve complex language understanding tasks. An interesting use case for reasoning is the resolution of context-dependent ambiguity. But no resources exist to evaluate how well Large Language Models can use explicit reasoning to resolve ambiguity in language. We propose to use ambiguous definite descriptions for this purpose and create and publish the first benchmark dataset consisting of such phrases. Our method includes all information required to resolve the ambiguity in the prompt, which means a model does not require anything but reasoning to do well. We find this to be a challenging task for recent LLMs. Code and data available at: https://github.com/sfschouten/exploiting-ambiguity
• Abstract（参考訳）: 自然言語推論は、複雑な言語理解タスクを解く言語モデルの能力を改善する上で、ますます重要な役割を担っている。 推論の興味深いユースケースは、コンテキスト依存の曖昧さの解決である。 しかし、Large Language Modelsが言語における曖昧さを解決するために明示的な推論をどの程度活用できるかを評価するためのリソースは存在しない。 この目的のために曖昧な明確な記述を用い、そのような句からなる最初のベンチマークデータセットを作成し、公開することを提案する。 提案手法には,プロンプトの曖昧さを解決するために必要なすべての情報が含まれている。 これは最近のLLMにとって難しい課題である。 https://github.com/sfschouten/exploiting-ambiguity

関連論文リスト

• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Zero and Few-shot Semantic Parsing with Ambiguous Inputs [45.285508941560295]
  私たちは、曖昧な自然言語を論理やコードといった形式的な表現に変換するためのフレームワーク、データセット、課題であるAmPを紹介します。 我々は,AmPを用いて,複数ショットのテキスト・ツー・コードシステムがあいまいさをどのように処理し,新しいメトリクスを3つ導入するかを検討する。 事前学習された大規模なモデルでは,意図的な指示を伴わずに,可能な意味の分布を把握できないことが判明した。
  論文  参考訳（メタデータ） (2023-06-01T15:46:36Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Large Language Models Can Be Easily Distracted by Irrelevant Context [29.315230178997002]
  本研究では,モデル解の精度が無関係な文脈によってどのように影響されるかを検討する。 我々は,大規模言語モデルにおける最先端のプロンプト手法の散らかしやすさをベンチマークで測定する。
  論文  参考訳（メタデータ） (2023-01-31T20:48:57Z)
• Python Code Generation by Asking Clarification Questions [57.63906360576212]
  本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。 我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。 我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
  論文  参考訳（メタデータ） (2022-12-19T22:08:36Z)
• APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning [73.3035118224719]
  本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-19T07:40:02Z)
• The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature Resolution by LLMs [26.118193748582197]
  我々は、広く使われている最先端モデルの4つのカテゴリを評価する。 2進推論を必要とする発話のみを評価するにもかかわらず、3つのカテゴリのモデルはランダムに近い性能を示す。 これらの結果は、特定の微調整戦略がモデルにおける実用的理解を誘導する上ではるかに優れていることを示唆している。
  論文  参考訳（メタデータ） (2022-10-26T19:04:23Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。