論文の概要: CASE: Commonsense-Augmented Score with an Expanded Answer Space
- arxiv url: http://arxiv.org/abs/2311.01684v1
- Date: Fri, 3 Nov 2023 03:15:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 15:25:05.571835
- Title: CASE: Commonsense-Augmented Score with an Expanded Answer Space
- Title（参考訳）: 症例:拡張アンサー空間を有するCommonsense-Augmented Score
- Authors: Wenkai Chen and Sahithya Ravi and Vered Shwartz
- Abstract要約: 拡張アンサー空間を有するCASE(Commonsense-Augmented Score)を提案する。
ケースは、入力中の他の単語とのセマンティックな関係に基づいて、個々の単語の重み付けを割り当てることで制限に対処する。
また、この選択と概念的に類似した語彙的に発散した回答を生成することにより、解空間を拡大する以前の作業も追従する。
- 参考スコア（独自算出の注目度）: 13.915710684653174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs have demonstrated impressive zero-shot performance on NLP tasks thanks
to the knowledge they acquired in their training. In multiple-choice QA tasks,
the LM probabilities are used as an imperfect measure of the plausibility of
each answer choice. One of the major limitations of the basic score is that it
treats all words as equally important. We propose CASE, a Commonsense-Augmented
Score with an Expanded Answer Space. CASE addresses this limitation by
assigning importance weights for individual words based on their semantic
relations to other words in the input. The dynamic weighting approach
outperforms basic LM scores, not only because it reduces noise from unimportant
words, but also because it informs the model of implicit commonsense knowledge
that may be useful for answering the question. We then also follow prior work
in expanding the answer space by generating lexically-divergent answers that
are conceptually-similar to the choices. When combined with answer space
expansion, our method outperforms strong baselines on 5 commonsense benchmarks.
We further show these two approaches are complementary and may be especially
beneficial when using smaller LMs.
- Abstract（参考訳）: LLMは、彼らがトレーニングで得た知識のおかげで、NLPタスクで印象的なゼロショットのパフォーマンスを示した。
複数選択QAタスクでは、各回答選択の妥当性の不完全な尺度としてLM確率が使用される。
基本スコアの主な制限の1つは、すべての単語を等しく重要なものとして扱うことである。
拡張アンサー空間を有するCASE(Commonsense-Augmented Score)を提案する。
caseはこの制限に対処し、入力中の他の単語との意味関係に基づいて個々の単語の重要性重みを割り当てる。
動的重み付けアプローチは、重要でない単語からノイズを除去するだけでなく、質問に答えるのに役立つ暗黙のコモンセンス知識のモデルを伝えるため、基本的なLMスコアよりも優れている。
さらに,概念的に選択に類似した語彙的多様性のある回答を生成することにより,回答空間を拡大する先行研究にも従う。
回答空間拡大と組み合わせると、5つのcommonsenseベンチマークの強いベースラインを上回る。
さらに,これら2つのアプローチは相補的であり,より小さなlmsを使用する場合に特に有用であることを示す。
関連論文リスト
- Do LLMs Understand Ambiguity in Text? A Case Study in Open-world Question Answering [15.342415325821063]
自然言語の曖昧さは、オープンドメインの質問応答に使用される大規模言語モデル(LLM)に重大な課題をもたらす。
我々は,明示的曖昧化戦略の効果を計測することに集中して,市販のLLM性能と数発のLLM性能を比較した。
本研究では, 難解な問合せタスクにおいて, LLM性能を向上させるために, 簡単な, トレーニング不要, トークンレベルの曖昧さを効果的に活用できることを実証する。
論文 参考訳（メタデータ） (2024-11-19T10:27:26Z) - Not All LLM Reasoners Are Created Equal [58.236453890457476]
小学校数学におけるLLMの解答能力の深さについて検討する。
既存の数式語問題に対して,それらの性能を併用して評価する。
論文 参考訳（メタデータ） (2024-10-02T17:01:10Z) - Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。
質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。
我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
論文 参考訳（メタデータ） (2024-05-26T22:30:29Z) - Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models [16.432208223793666]
Chain-of-Thoughtはサブクエスト生成と応答を促進させ、多段階推論機能を強化した。
本稿では,GE-Reasoning法を提案する。
提案手法は,マルチホップ質問応答ベンチマークデータセットにおいて,従来のCoTプロンプト手法とその変種よりも優れていた。
論文 参考訳（メタデータ） (2023-11-16T10:36:08Z) - Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳（メタデータ） (2023-11-16T00:18:50Z) - Shifting Attention to Relevance: Towards the Predictive Uncertainty Quantification of Free-Form Large Language Models [27.491408293411734]
大規模言語モデル(LLM)は、言語生成と命令の後に有望な結果を示すが、しばしば「ハロシン化」を示す。
我々の研究は単純な冗長性を導入している: 自動回帰テキストのすべてのトークンが、基礎となる意味を等しく表しているわけではない。
論文 参考訳（メタデータ） (2023-07-03T22:17:16Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳（メタデータ） (2023-05-24T06:16:44Z) - Increasing Probability Mass on Answer Choices Does Not Always Improve
Accuracy [60.18632773935895]
同一の意味を持つ複数の曲面に確率質量を分散させることは、モデルの真の性能の過小評価を引き起こすと考えられている。
我々はSFCの数学的形式論を提案し、初めてその影響を定量化し、束縛することができる。
提案手法は,各回答選択の確率質量をaで増加させるという単純な方法であり,プロンプトに含め,bに含めた確率質量をbで増加させる手法である。
論文 参考訳（メタデータ） (2023-05-24T00:27:00Z) - Learning to Ask Conversational Questions by Optimizing Levenshtein
Distance [83.53855889592734]
明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。
RISEは会話の特徴に関連するトークンに注意を払うことができる。
2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-30T08:44:19Z) - A Semantic-based Method for Unsupervised Commonsense Question Answering [40.18557352036813]
ラベル付きタスクデータに依存しないため、教師なしのコモンセンス質問応答は魅力的である。
教師なしコモンセンス質問応答のためのSemantic-based Question Answering法(SEQA)を提案する。
論文 参考訳（メタデータ） (2021-05-31T08:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。