論文の概要: Citations as Queries: Source Attribution Using Language Models as Rerankers

• arxiv url: http://arxiv.org/abs/2306.17322v1
• Date: Thu, 29 Jun 2023 22:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 13:51:09.878291
• Title: Citations as Queries: Source Attribution Using Language Models as Rerankers
• Title（参考訳）: Citations as Queries:Rerankerとして言語モデルを用いたソース属性
• Authors: Ryan Muther and David Smith
• Abstract要約: 我々は、英語のウィキペディアと中世アラビア語の歴史的文章の2つのデータセットで実験を行う。 半教師付き手法は完全教師付き手法と同じくらい効果的であることがわかった。
• 参考スコア（独自算出の注目度）: 2.3605348648054454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores new methods for locating the sources used to write a text, by fine-tuning a variety of language models to rerank candidate sources. After retrieving candidates sources using a baseline BM25 retrieval model, a variety of reranking methods are tested to see how effective they are at the task of source attribution. We conduct experiments on two datasets, English Wikipedia and medieval Arabic historical writing, and employ a variety of retrieval and generation based reranking models. In particular, we seek to understand how the degree of supervision required affects the performance of various reranking models. We find that semisupervised methods can be nearly as effective as fully supervised methods while avoiding potentially costly span-level annotation of the target and source documents.
• Abstract（参考訳）: 本稿では,様々な言語モデルを微調整して,テキストの書き直しに使用したソースを探索する手法について検討する。 ベースラインBM25検索モデルを用いて候補ソースを検索した後、ソース属性のタスクにおける有効性を確認するために、様々な順位付け手法をテストする。 英語ウィキペディアと中世アラビア語歴史書の2つのデータセットについて実験を行い,様々な検索と生成に基づくリストラモデルを用いて実験を行った。 特に,様々なリレーティングモデルの性能に及ぼす監督の程度の影響について理解することを目指す。 半教師付きメソッドは、ターゲット文書とソース文書の潜在的にコストのかかるスパンレベルのアノテーションを避けながら、完全に教師付きメソッドとほぼ同等に効果的であることがわかった。

関連論文リスト

• Verifiable Generation with Subsentence-Level Fine-Grained Citations [13.931548733211436]
  検証可能な生成には、出力をサポートするソースドキュメントを引用するために、大きな言語モデルが必要である。 先行研究は主に文レベルの引用の生成を目標としており、引用された情報源によって文のどの部分が裏付けられているかの特異性が欠如している。 本研究は, サブ文レベルのきめ細かな引用による生成を検証し, 引用元が支持する生成コンテンツのより正確な位置について検討する。
  論文  参考訳（メタデータ） (2024-06-10T09:32:37Z)
• Few-Shot Detection of Machine-Generated Text using Style Representations [4.326503887981912]
  人間の文章を巧みに模倣する言語モデルは、虐待のかなりのリスクを負う。 そこで本研究では,人間が作成したテキストから推定した書体スタイルの表現を活用することを提案する。 また,人間と機械作家の区別にも有効であることがわかった。
  論文  参考訳（メタデータ） (2024-01-12T17:26:51Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Metadata Might Make Language Models Better [1.7100280218774935]
  19世紀の新聞をケーススタディとして、マスケッド言語モデルに時間的、政治的、地理的情報を挿入するための異なる戦略を比較した。 関連するメタデータを言語モデルに示すことは有益な影響があり、より堅牢で公平なモデルを生成することさえあることに気付きました。
  論文  参考訳（メタデータ） (2022-11-18T08:29:00Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)
• "Don't quote me on that": Finding Mixtures of Sources in News Articles [85.92467549469147]
  各ソースのtextitaffiliationとtextitroleに基づいてソースのオントロジーラベリングシステムを構築します。 これらの属性を名前付きソースに推論し、ニュース記事をこれらのソースの混合物として記述する確率モデルを構築します。
  論文  参考訳（メタデータ） (2021-04-19T21:57:11Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Pretrained Language Models for Dialogue Generation with Multiple Input Sources [101.17537614998805]
  本研究では,事前学習した言語モデルGPT2から適応した複数の入力源を持つ対話モデルについて検討する。 異なるソースに対応する複数の異なる注意情報を融合する様々な手法を探索する。 実験結果から, 核融合法は単純な核融合ベースラインよりも, 対話履歴との関連性が高いことがわかった。
  論文  参考訳（メタデータ） (2020-10-15T07:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。