論文の概要: Exploring Prompt-Based Methods for Zero-Shot Hypernym Prediction with Large Language Models

• arxiv url: http://arxiv.org/abs/2401.04515v1
• Date: Tue, 9 Jan 2024 12:13:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 15:46:21.518854
• Title: Exploring Prompt-Based Methods for Zero-Shot Hypernym Prediction with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたゼロショットハイパーネム予測のためのプロンプト法の検討
• Authors: Mikhail Tikhomirov and Natalia Loukachevitch
• Abstract要約: 本稿では,大言語モデル(LLM)を用いたハイパーネミー予測に対するゼロショットアプローチについて検討する。 実験は、言語モデルプロンプトの有効性と古典パターンとの強い相関を示す。 また,コハイポニム予測のプロンプトや,追加情報によるプロンプトの増強によるハイポニミー予測の改善についても検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This article investigates a zero-shot approach to hypernymy prediction using large language models (LLMs). The study employs a method based on text probability calculation, applying it to various generated prompts. The experiments demonstrate a strong correlation between the effectiveness of language model prompts and classic patterns, indicating that preliminary prompt selection can be carried out using smaller models before moving to larger ones. We also explore prompts for predicting co-hyponyms and improving hypernymy predictions by augmenting prompts with additional information through automatically identified co-hyponyms. An iterative approach is developed for predicting higher-level concepts, which further improves the quality on the BLESS dataset (MAP = 0.8).
• Abstract（参考訳）: 本稿では,大言語モデル(LLM)を用いたハイパーネミー予測に対するゼロショットアプローチについて検討する。 本研究は,テキスト確率計算に基づく手法を用いて,様々な生成プロンプトに適用する。 実験は,言語モデルプロンプトの有効性と古典パターンとの強い相関関係を示し,より小さなモデルを用いて事前のプロンプト選択を行うことができることを示した。 また,自動識別された同義語を用いて,追加情報付きプロンプトを増強することにより,同義語を予測するプロンプトやハイパーニーミー予測の改善も検討する。 より高度な概念を予測するための反復的手法が開発され、BLESSデータセットの品質をさらに向上する(MAP = 0.8)。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Improving Explainability of Softmax Classifiers Using a Prototype-Based Joint Embedding Method [0.0]
  本稿では,ソフトマックス分類器の説明可能性向上のための試作手法を提案する。 モデルアーキテクチャの変更とトレーニングにより、予測に寄与する原型例のサンプル化が可能となる。 我々は、ソフトマックスの信頼性よりも分布データから検出できる不確実性の指標を得る。
  論文  参考訳（メタデータ） (2024-07-02T13:59:09Z)
• Prompt Mining for Language-based Human Mobility Forecasting [10.325794804095889]
  本稿では,言語に基づくモビリティ予測における迅速なマイニングのための新しいフレームワークを提案する。 本発明のフレームワークは、プロンプトの情報エントロピーに基づく即時生成段階と、思考の連鎖などのメカニズムを統合する即時改善段階とを含む。
  論文  参考訳（メタデータ） (2024-03-06T08:43:30Z)
• A Lightweight Generative Model for Interpretable Subject-level Prediction [0.07989135005592125]
  本稿では,本質的に解釈可能な単一対象予測手法を提案する。 実験により、結果のモデルを効率よく逆転させ、正確な主観レベルの予測を行うことが示されている。
  論文  参考訳（メタデータ） (2023-06-19T18:20:29Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• HYPER: Learned Hybrid Trajectory Prediction via Factored Inference and Adaptive Sampling [27.194900145235007]
  本稿では,汎用的で表現力豊かなハイブリッド予測フレームワークHYPERを紹介する。 トラヒックエージェントをハイブリッドな離散連続システムとしてモデル化することにより、我々のアプローチは時間とともに離散的な意図の変化を予測することができる。 我々は、Argoverseデータセット上でモデルをトレーニングし、検証し、その効果を包括的アブレーション研究と最先端モデルとの比較を通して実証する。
  論文  参考訳（メタデータ） (2021-10-05T20:20:10Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Prediction-Centric Learning of Independent Cascade Dynamics from Partial Observations [13.680949377743392]
  本稿では,このモデルから生成された予測が正確であるような拡散モデルの学習の問題に対処する。 本稿では,スケーラブルな動的メッセージパッシング手法に基づく計算効率のよいアルゴリズムを提案する。 学習モデルからの抽出可能な推論は,元のモデルと比較して限界確率の予測精度がよいことを示す。
  論文  参考訳（メタデータ） (2020-07-13T17:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。