論文の概要: Can Language Models Take A Hint? Prompting for Controllable Contextualized Commonsense Inference

• arxiv url: http://arxiv.org/abs/2410.02202v1
• Date: Thu, 3 Oct 2024 04:32:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 08:06:03.800839
• Title: Can Language Models Take A Hint? Prompting for Controllable Contextualized Commonsense Inference
• Title（参考訳）: 言語モデルはヒントを取ることができるか?制御可能なコンテクスト化コモンセンス推論のための試行
• Authors: Pedro Colon-Hernandez, Nanxi Liu, Chelsea Joe, Peter Chin, Claire Yin, Henry Lieberman, Yida Xin, Cynthia Breazeal,
• Abstract要約: 我々は、文脈化されたコモンセンス推論を強化するデータ拡張手法である"hinting"を導入する。 『Hinting』では、ハードプロンプトとソフトプロンプトを併用して推論プロセスの導出を行う。 この結果から,"隠れ"は文脈コモンセンス推論の性能を損なうことなく,制御性の向上を図っている。
• 参考スコア（独自算出の注目度）: 12.941933077524919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating commonsense assertions within a given story context remains a difficult task for modern language models. Previous research has addressed this problem by aligning commonsense inferences with stories and training language generation models accordingly. One of the challenges is determining which topic or entity in the story should be the focus of an inferred assertion. Prior approaches lack the ability to control specific aspects of the generated assertions. In this work, we introduce "hinting," a data augmentation technique that enhances contextualized commonsense inference. "Hinting" employs a prefix prompting strategy using both hard and soft prompts to guide the inference process. To demonstrate its effectiveness, we apply "hinting" to two contextual commonsense inference datasets: ParaCOMET and GLUCOSE, evaluating its impact on both general and context-specific inference. Furthermore, we evaluate "hinting" by incorporating synonyms and antonyms into the hints. Our results show that "hinting" does not compromise the performance of contextual commonsense inference while offering improved controllability.
• Abstract（参考訳）: 与えられたストーリーコンテキスト内でコモンセンスのアサーションを生成することは、現代言語モデルにとって難しい課題である。 これまでの研究では、コモンセンス推論をストーリーと整合させ、言語生成モデルを訓練することでこの問題に対処してきた。 課題の1つは、ストーリーのどのトピックやエンティティが推論されたアサーションの焦点になるべきかを決定することである。 以前のアプローチでは、生成されたアサーションの特定の側面を制御する能力がない。 本研究では、文脈化されたコモンセンス推論を強化するデータ拡張手法である"hinting"を導入する。 『Hinting』では、ハードプロンプトとソフトプロンプトを併用して推論プロセスの導出を行う。 その有効性を示すために、ParaCOMETとGLUCOSEの2つのコンテキストコモンセンス推論データセットに「隠れ」を適用し、一般およびコンテキスト固有の推論に与える影響を評価する。 さらに, ヒントに同義語やアントロニムを組み込むことで, 「隠れ」を評価する。 この結果から,"隠れ"は文脈コモンセンス推論の性能を損なうことなく,制御性の向上を図っている。

関連論文リスト

• Complex Reasoning over Logical Queries on Commonsense Knowledge Graphs [61.796960984541464]
  論理クエリをサンプリングして作成した新しいデータセットであるCOM2(COMplex COMmonsense)を提示する。 我々は、手書きのルールと大きな言語モデルを用いて、複数の選択とテキスト生成の質問に言語化します。 COM2でトレーニングされた言語モデルでは、複雑な推論能力が大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-12T08:13:52Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Self-Consistent Narrative Prompts on Abductive Natural Language Inference [42.201304482932706]
  アブダクションは、物語の理解と日常の状況の推論に欠かせないものと見なされてきた。 本稿では,自己整合性と相互整合性を考慮した即時チューニングモデル$alpha$-PACEを提案する。
  論文  参考訳（メタデータ） (2023-09-15T10:48:10Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)
• Adversarial Transformer Language Models for Contextual Commonsense Inference [14.12019824666882]
  コモンセンス推論はコヒーレントなコモンセンスアサーションを生成するタスクである。 課題のいくつかは、推測された事実のトピックに対する制御可能性の欠如、トレーニング中の常識知識の欠如である。 我々は、上記の課題に対処する技術を開発する。
  論文  参考訳（メタデータ） (2023-02-10T18:21:13Z)
• Multiview Contextual Commonsense Inference: A New Dataset and Task [40.566530682082714]
  CICEROv2は2,379の対話から8,351のインスタンスからなるデータセットである。 それは、コンテキストのコモンセンス推論の質問に対して、複数の人間が書いた回答を含んでいる。 CICEROv2の推論は、他の文脈コモンセンス推論データセットよりも意味的に多様であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T13:08:41Z)
• Textual Explanations and Critiques in Recommendation Systems [8.406549970145846]
  論文は、このニーズに対処する2つの根本的な課題に焦点を当てています。 1つ目は、スケーラブルでデータ駆動的な説明生成である。 第2の課題は、説明を実行可能なものにすることだ。
  論文  参考訳（メタデータ） (2022-05-15T11:59:23Z)
• CIS2: A Simplified Commonsense Inference Evaluation for Story Prose [21.32351425259654]
  私たちは、コンテキストコモンセンス推論(CCI)と呼ばれる、ストーリーの散文中のコモンセンス推論の領域に注目します。 文選択におけるタスクコンテキストコモンセンス推論(CIS$2$)を導入する。
  論文  参考訳（メタデータ） (2022-02-16T06:14:37Z)
• Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
  本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。 我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
  論文  参考訳（メタデータ） (2020-10-26T21:34:39Z)
• Paragraph-level Commonsense Transformers with Recurrent Memory [77.4133779538797]
  物語からコヒーレントなコモンセンス推論を生成するために,段落レベルの情報を含む談話認識モデルを訓練する。 以上の結果から,PARA-COMETは文レベルのベースライン,特にコヒーレントかつ新規な推論に優れていた。
  論文  参考訳（メタデータ） (2020-10-04T05:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。