論文の概要: Explicit Inductive Inference using Large Language Models

• arxiv url: http://arxiv.org/abs/2408.14467v1
• Date: Mon, 26 Aug 2024 17:58:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 13:02:15.443638
• Title: Explicit Inductive Inference using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた明示的帰納推論
• Authors: Tianyang Liu, Tianyi Li, Liang Cheng, Mark Steedman,
• Abstract要約: 大規模言語モデル(LLM)は、推論タスクに対して望ましくない証明バイアスを負うと報告されている。 このバイアスを利用して明示的な帰納的推論を行うパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 13.767536248988268
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) are reported to hold undesirable attestation bias on inference tasks: when asked to predict if a premise P entails a hypothesis H, instead of considering H's conditional truthfulness entailed by P, LLMs tend to use the out-of-context truth label of H as a fragile proxy. In this paper, we propose a pipeline that exploits this bias to do explicit inductive inference. Our pipeline uses an LLM to transform a premise into a set of attested alternatives, and then aggregate answers of the derived new entailment inquiries to support the original inference prediction. On a directional predicate entailment benchmark, we demonstrate that by applying this simple pipeline, we can improve the overall performance of LLMs on inference and substantially alleviate the impact of their attestation bias.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論タスクにおいて望ましくない証明バイアスを持つと報告されている:前提 P が仮説 H を包含するかどうかを予測しようとすると、P が関連する H の条件的真性を考える代わりに、LLM は H のアウト・オブ・コンテクスト的真性ラベルを脆弱なプロキシとして使う傾向にある。 本稿では,このバイアスを利用して明示的な帰納的推論を行うパイプラインを提案する。 我々のパイプラインは LLM を用いて前提を証明されていない代替品の集合に変換し、導出された新しい推論質問の回答を集約し、元の推論予測をサポートする。 この単純なパイプラインを適用することで,LLMの推論における全体的な性能を向上し,検証バイアスの影響を大幅に軽減できることを示す。

関連論文リスト

• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Quantitative Certification of Bias in Large Language Models [18.91760463088026]
  大規模言語モデル(LLM)は、表現障害を引き起こすバイアスのある応答を生成することができる。 提案するQuaCer-Bは,プロンプトの分布の偏りをLLMに認定する。
  論文  参考訳（メタデータ） (2024-05-29T05:39:37Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment [32.12998469814097]
  大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。 実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-03-05T07:47:34Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Hypothesis Search: Inductive Reasoning with Language Models [39.03846394586811]
  最近の研究は「文脈学習」を直接促すことで帰納的推論タスクにおける大規模言語モデルの評価を行っている これは単純な帰納的タスクではうまく機能するが、Abstraction and Reasoning Corpus (ARC)のような複雑なタスクではうまく機能しない。 本研究では,複数の抽象レベルで明示的な仮説を生成することにより,LLMの帰納的推論能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-09-11T17:56:57Z)
• Sources of Hallucination by Large Language Models on Inference Tasks [16.644096408742325]
  大規模言語モデル (LLM) は自然言語推論 (NLI) が可能なと主張している。 本研究は, 制御実験を用いて行動調査を行う複数のLLMファミリーに関する一連の行動学的研究について述べる。
  論文  参考訳（メタデータ） (2023-05-23T22:24:44Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text Correspondence [45.9949173746044]
  大規模事前学習言語モデル (PLM) が論理否定特性 (LNP) を満たさないことを示す。 そこで本研究では,意味テキスト対応を直接学習するための新しい中間訓練課題である「意味マッチング」を提案する。 このタスクにより、PLMは語彙意味情報を学習することができる。
  論文  参考訳（メタデータ） (2022-05-08T08:37:36Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。