Fugu-MT 論文翻訳(概要): Oracle-Checker Scheme for Evaluating a Generative Large Language Model

論文の概要: Oracle-Checker Scheme for Evaluating a Generative Large Language Model

arxiv url: http://arxiv.org/abs/2405.03170v1
Date: Mon, 6 May 2024 05:36:29 GMT
ステータス: 処理完了
システム内更新日: 2024-05-07 14:45:09.797221
Title: Oracle-Checker Scheme for Evaluating a Generative Large Language Model
Title（参考訳）: 生成型大規模言語モデル評価のためのOracle-Checkerスキーム
Authors: Yueling Jenny Zeng, Li-C. Wang, Thomas Ibbetson,
Abstract要約: 生成的大言語モデル(LLM)によって与えられる答えを評価するオラクルチェッカースキーム最初のタイプのチェッカーは、プロパティテストの考え方に従っている。第2のチェッカーは、プログラムチェックの考え方に従う。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This work presents a novel approach called oracle-checker scheme for evaluating the answer given by a generative large language model (LLM). Two types of checkers are presented. The first type of checker follows the idea of property testing. The second type of checker follows the idea of program checking. Their applications are demonstrated in two separate contexts, entity extraction and paraphrase decision, respectively.
Abstract（参考訳）: この研究は、生成的大言語モデル(LLM)によって与えられる回答を評価するための、オラクル・チェッカースキームと呼ばれる新しいアプローチを示す。 2種類のチェッカーが提示されます。最初のタイプのチェッカーは、プロパティテストのアイデアに従っている。第2のチェッカーは、プログラムチェックの考え方に従っている。それらの応用は、それぞれエンティティ抽出とパラフレーズ決定という2つの異なる文脈で示される。

関連論文リスト

SAGA: Summarization-Guided Assert Statement Generation [34.51502565985728]
本稿では,アサート文の自動生成のための新しい要約誘導手法を提案する。我々は、事前訓練された言語モデルを参照アーキテクチャとして利用し、アサート文生成のタスクでそれを微調整する。
論文参考訳（メタデータ） (2023-05-24T07:03:21Z)
Recommender Systems with Generative Retrieval [58.454606442670034]
本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2023-05-08T21:48:17Z)
Open Relation and Event Type Discovery with Type Abstraction [80.92395639632383]
ここでは、モデルを一般化し、型を命名するよう促される型抽象化の考え方を紹介します。推論された名前の類似性を利用してクラスタを誘導する。複数の関係抽出およびイベントデータセット抽出に関する実験は、型抽象化アプローチの利点を一貫して示している。
論文参考訳（メタデータ） (2022-11-30T23:47:49Z)
Controllable Text Generation with Neurally-Decomposed Oracle [91.18959622763055]
我々はNeurAlly-Decomposed Oracle (NADO) を用いた自動回帰生成モデルを制御するフレームワークを提案する。制御可能な生成のためのベースモデルにトークンレベルのガイダンスを組み込むためのクローズドフォーム最適解を提案する。
論文参考訳（メタデータ） (2022-05-27T20:17:53Z)
Multilingual CheckList: Generation and Evaluation [12.875739094571568]
本研究では,多言語チェックListの品質を生成・評価するための複数のアプローチについて検討する。ソースからターゲット言語にチェックリストを自動的に転送するアルゴリズム -- 自動多言語チェックリスト生成(AMCG)。自動的なアプローチは、機能にわたってモデルの失敗率を正確に見積もることができることを示す。
論文参考訳（メタデータ） (2022-03-24T06:05:28Z)
Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding [51.57864297948228]
本稿では,自然言語クエリとしてイベントタイプと引数ロールを取り入れた新しいイベント抽出フレームワークを提案する。我々のフレームワークは、イベントタイプや引数ロールと入力テキストとのセマンティックな相関をよりよく捉えるための注意機構の恩恵を受ける。
論文参考訳（メタデータ） (2021-10-14T15:49:40Z)
ConRPG: Paraphrase Generation using Contexts as Regularizer [31.967883219986362]
パラフレーズ生成の長年の問題として、信頼できる監視信号を得る方法がある。本稿では,同じ文脈で同じ意味を持つ2つの文を生成する確率が同じであるという仮定に基づいて,パラフレーズ生成のための教師なしパラダイムを提案する。本稿では、文脈言語モデルに基づくパラフレーズ候補生成、スコアリング関数を用いた候補フィルタリング、選択した候補に基づくパラフレーズモデルトレーニングからなるパイプラインシステムを提案する。
論文参考訳（メタデータ） (2021-09-01T12:57:30Z)
Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
論文参考訳（メタデータ） (2020-10-26T21:34:39Z)
Tag and Correct: Question aware Open Information Extraction with Two-stage Decoding [73.24783466100686]
質問オープンIEは質問と通過を入力として受け取り、主題、述語、および1つ以上の議論を含む回答を出力する。半構造化された答えには2つの利点がある。一つは、Open IEモデルによるパスから候補回答を抽出し、質問にマッチしてランク付けする抽出方法である。もう1つは、シーケンスモデルを用いて回答を直接生成する生成方法である。
論文参考訳（メタデータ） (2020-09-16T00:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。