論文の概要: An evaluation of template and ML-based generation of user-readable text
from a knowledge graph
- arxiv url: http://arxiv.org/abs/2106.14613v1
- Date: Sun, 6 Jun 2021 14:47:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-04 19:38:33.547461
- Title: An evaluation of template and ML-based generation of user-readable text
from a knowledge graph
- Title（参考訳）: 知識グラフを用いたテンプレートとMLによるユーザ可読テキスト生成の評価
- Authors: Zola Mahlaza and C. Maria Keet and Jarryd Dunn and Matthew Poulter
- Abstract要約: これらの誤りのどれが人間による低品質判断と大きく関連しているのかは不明である。
人文の誤りと人文の自然さと質の判断の低さとの間に有意な関連性はなかった。
どちらのアプローチも、知識グラフのための自然言語インターフェースを設計するための実行可能な選択肢であるようだ。
- 参考スコア（独自算出の注目度）: 1.7778609937758323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Typical user-friendly renderings of knowledge graphs are visualisations and
natural language text. Within the latter HCI solution approach, data-driven
natural language generation systems receive increased attention, but they are
often outperformed by template-based systems due to suffering from errors such
as content dropping, hallucination, or repetition. It is unknown which of those
errors are associated significantly with low quality judgements by humans who
the text is aimed for, which hampers addressing errors based on their impact on
improving human evaluations. We assessed their possible association with an
experiment availing of expert and crowdsourced evaluations of human authored
text, template generated text, and sequence-to-sequence model generated text.
The results showed that there was no significant association between human
authored texts with errors and the low human judgements of naturalness and
quality. There was also no significant association between machine learning
generated texts with dropped or hallucinated slots and the low human judgements
of naturalness and quality. Thus, both approaches appear to be viable options
for designing a natural language interface for knowledge graphs.
- Abstract（参考訳）: 知識グラフの典型的なユーザフレンドリーなレンダリングは、可視化と自然言語テキストである。
後者のHCIソリューションアプローチでは、データ駆動自然言語生成システムは注目度が高まるが、コンテンツドロップや幻覚、反復といったエラーに悩まされているため、テンプレートベースのシステムでは性能が向上することが多い。
いずれの誤りが、テキストを対象とする人間による低品質判断と有意な関連があるのかは不明であり、人間の評価改善への影響に基づいてエラーに対処することを妨げる。
提案手法は,人文テキスト,テンプレート生成テキスト,シーケンス・ツー・シーケンス・モデル生成テキストについて,専門家とクラウドソースによる評価を併用した実験と関係性を検討した。
その結果,人文の誤りと人文の自然性・質判断の低さとの間に有意な関連性は認められなかった。
また, 切り落されたスロットや幻覚付きスロットを持つ機械学習生成テキストと, 自然性や品質の低い人間の判断との間に有意な相関は認められなかった。
したがって、どちらのアプローチも知識グラフの自然言語インタフェースを設計するための選択肢となる。
関連論文リスト
- Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。
人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。
本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
論文 参考訳（メタデータ） (2024-11-23T15:24:47Z) - ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling [35.098725056881655]
大型視覚言語モデル(LVLM)は前例のない視覚推論能力を示している。
生成されたテキストは、しばしば視覚入力の不正確な接地に悩まされ、既存のシーン要素の幻覚などのエラーが発生する。
そこで我々は,LVLMの視覚的接地性を高めるために,微粒な報酬モデルを用いた新しいフレームワークViGoRを提案する。
論文 参考訳（メタデータ） (2024-02-09T01:00:14Z) - Few-Shot Detection of Machine-Generated Text using Style Representations [4.326503887981912]
人間の文章を巧みに模倣する言語モデルは、虐待のかなりのリスクを負う。
そこで本研究では,人間が作成したテキストから推定した書体スタイルの表現を活用することを提案する。
また,人間と機械作家の区別にも有効であることがわかった。
論文 参考訳（メタデータ） (2024-01-12T17:26:51Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳（メタデータ） (2023-11-14T18:59:15Z) - The Imitation Game: Detecting Human and AI-Generated Texts in the Era of
ChatGPT and BARD [3.2228025627337864]
異なるジャンルの人文・AI生成テキストのデータセットを新たに導入する。
テキストを分類するために、いくつかの機械学習モデルを使用します。
結果は、人間とAIが生成したテキストを識別する上で、これらのモデルの有効性を示す。
論文 参考訳（メタデータ） (2023-07-22T21:00:14Z) - MISMATCH: Fine-grained Evaluation of Machine-generated Text with
Mismatch Error Types [68.76742370525234]
テキスト間のきめ細かいミスマッチに基づいて、7つのNLPタスクにおける人間の判断をモデル化する新しい評価手法を提案する。
細粒度評価のためのNLPタスクの最近の取り組みに触発されて,13種類のミスマッチエラータイプを紹介した。
7つのNLPタスクから得られた有意なデータセットの文対間のミスマッチ誤差は,人間の評価とよく一致している。
論文 参考訳（メタデータ） (2023-06-18T01:38:53Z) - INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained
Feedback [80.57617091714448]
テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。
LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
論文 参考訳（メタデータ） (2023-05-23T17:27:22Z) - Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。
我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。
そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文 参考訳（メタデータ） (2023-02-06T10:28:16Z) - Real or Fake Text?: Investigating Human Ability to Detect Boundaries
Between Human-Written and Machine-Generated Text [23.622347443796183]
我々は、テキストが人間の書き起こしから始まり、最先端のニューラルネットワークモデルによって生成されるようになる、より現実的な状況について研究する。
この課題でアノテータはしばしば苦労するが、アノテータのスキルにはかなりのばらつきがあり、適切なインセンティブが与えられると、アノテータは時間とともに改善できることを示す。
論文 参考訳（メタデータ） (2022-12-24T06:40:25Z) - On the probability-quality paradox in language generation [76.69397802617064]
我々は情報理論レンズを用いて言語生成を分析する。
人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
論文 参考訳（メタデータ） (2022-03-31T17:43:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。