論文の概要: Predicting Text Preference Via Structured Comparative Reasoning

• arxiv url: http://arxiv.org/abs/2311.08390v2
• Date: Mon, 1 Jul 2024 16:57:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 17:30:47.174333
• Title: Predicting Text Preference Via Structured Comparative Reasoning
• Title（参考訳）: 構造的比較推論によるテキストの予測
• Authors: Jing Nathan Yan, Tianqi Liu, Justin T Chiu, Jiaming Shen, Zhen Qin, Yue Yu, Yao Zhao, Charu Lakshmanan, Yair Kurzion, Alexander M. Rush, Jialu Liu, Michael Bendersky,
• Abstract要約: 我々は、構造化中間比較を生成することによって、テキストの嗜好を予測するプロンプト方式であるSCを導入する。 我々は、テキスト間の差異を明確に区別するためのペアワイズ整合コンパレータと一貫した比較を選択する。 要約,検索,自動評価など多種多様なNLPタスクに対する総合的な評価は,SCがテキスト優先予測における最先端性能を達成するためにLLMを装備していることを示す。
• 参考スコア（独自算出の注目度）: 110.49560164568791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Comparative reasoning plays a crucial role in text preference prediction; however, large language models (LLMs) often demonstrate inconsistencies in their reasoning. While approaches like Chain-of-Thought improve accuracy in many other settings, they struggle to consistently distinguish the similarities and differences of complex texts. We introduce SC, a prompting approach that predicts text preferences by generating structured intermediate comparisons. SC begins by proposing aspects of comparison, followed by generating textual comparisons under each aspect. We select consistent comparisons with a pairwise consistency comparator that ensures each aspect's comparisons clearly distinguish differences between texts, significantly reducing hallucination and improving consistency. Our comprehensive evaluations across various NLP tasks, including summarization, retrieval, and automatic rating, demonstrate that SC equips LLMs to achieve state-of-the-art performance in text preference prediction.
• Abstract（参考訳）: 比較推論はテキスト嗜好予測において重要な役割を担っているが、大きな言語モデル(LLM)はその推論に矛盾を示すことが多い。 Chain-of-Thoughtのようなアプローチは、他の多くの設定で精度を向上させるが、複雑なテキストの類似点と相違点を一貫して区別するのに苦労している。 我々は、構造化中間比較を生成することによって、テキストの嗜好を予測するプロンプト方式であるSCを導入する。 SC はまず比較の側面を提案し、次に各アスペクトでテキストの比較を生成する。 テキスト間の差異を明確に区別し、幻覚を著しく低減し、一貫性を向上させるために、ペアワイズ整合コンパレータと一貫した比較を選択する。 要約,検索,自動評価など多種多様なNLPタスクに対する総合的な評価は,SCがテキスト優先予測における最先端性能を達成するためにLLMを装備していることを示す。

関連論文リスト

• Composition-contrastive Learning for Sentence Embeddings [23.85590618900386]
  この作業は、補助的なトレーニング目標や追加のネットワークパラメータのコストを発生させることなく、初めて実施される。 意味的テキスト類似性タスクの実験結果は、最先端のアプローチに匹敵するベースラインの改善を示す。
  論文  参考訳（メタデータ） (2023-07-14T14:39:35Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders [4.254099382808598]
  本稿では,文エンコーダとアライメント成分の組合せとして,各文を述語-代名詞の一覧として表現することを提案する。 実験結果から,アライメント成分は様々な文エンコーダの性能向上と解釈可能性の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2022-10-11T09:52:52Z)
• Interpreting BERT-based Text Similarity via Activation and Saliency Maps [26.279593839644836]
  本稿では,事前学習したBERTモデルから推定される段落類似性を説明するための教師なし手法を提案する。 一対の段落を見ると,各段落の意味を規定する重要な単語を識別し,各段落間の単語の一致を判定し,両者の類似性を説明する最も重要なペアを検索する。
  論文  参考訳（メタデータ） (2022-08-13T10:06:24Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning [29.462788855992617]
  文間距離を輸送問題に基づく文脈化トークン距離の重み付け和として記述する。 次に、RCMDと呼ばれる最適輸送に基づく距離測定を行い、意味的に整合したトークンペアを特定し、活用する。 最後に,文ペアのRCMDを最適化するコントラスト学習フレームワークであるCLRCMDを提案する。
  論文  参考訳（メタデータ） (2022-02-26T17:28:02Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Comprehensive Studies for Arbitrary-shape Scene Text Detection [78.50639779134944]
  ボトムアップに基づくシーンテキスト検出のための統合フレームワークを提案する。 統一されたフレームワークの下では、非コアモジュールの一貫性のある設定が保証されます。 包括的調査と精巧な分析により、以前のモデルの利点と欠点を明らかにしている。
  論文  参考訳（メタデータ） (2021-07-25T13:18:55Z)
• Multilingual Alignment of Contextual Word Representations [49.42244463346612]
  BERTはXNLIのゼロショット性能をベースモデルに比べて大幅に改善した。 単語検索の文脈バージョンを導入し、下流のゼロショット転送とよく相関していることを示す。 これらの結果は、大規模多言語事前学習モデルの理解に有用な概念としてコンテキストアライメントをサポートする。
  論文  参考訳（メタデータ） (2020-02-10T03:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。