論文の概要: Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection
- arxiv url: http://arxiv.org/abs/2308.16763v2
- Date: Thu, 7 Sep 2023 09:15:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 16:10:13.763945
- Title: Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection
- Title(参考訳): Ladder-of-Thought:知識をスタンス検出のステップとして使う
- Authors: Kairui Hu, Ming Yan, Joey Tianyi Zhou, Ivor W. Tsang, Wen Haw Chong,
Yong Keong Yap
- Abstract要約: 姿勢検出タスクにLadder-of-Thought(LoT)を導入する。
LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。
実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
- 参考スコア(独自算出の注目度): 73.31406286956535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stance detection aims to identify the attitude expressed in a document
towards a given target. Techniques such as Chain-of-Thought (CoT) prompting
have advanced this task, enhancing a model's reasoning capabilities through the
derivation of intermediate rationales. However, CoT relies primarily on a
model's pre-trained internal knowledge during reasoning, thereby neglecting the
valuable external information that is previously unknown to the model. This
omission, especially within the unsupervised reasoning process, can affect the
model's overall performance. Moreover, while CoT enhances Large Language Models
(LLMs), smaller LMs, though efficient operationally, face challenges in
delivering nuanced reasoning. In response to these identified gaps, we
introduce the Ladder-of-Thought (LoT) for the stance detection task.
Constructed through a dual-phase Progressive Optimization Framework, LoT
directs the small LMs to assimilate high-quality external knowledge, refining
the intermediate rationales produced. These bolstered rationales subsequently
serve as the foundation for more precise predictions - akin to how a ladder
facilitates reaching elevated goals. LoT achieves a balance between efficiency
and performance. Our empirical evaluations underscore LoT's efficacy, marking a
16% improvement over GPT-3.5 and a 10% enhancement compared to GPT-3.5 with CoT
on stance detection task.
- Abstract(参考訳): スタンス検出は、文書に示される目標に対する態度を特定することを目的としている。
CoT(Chain-of-Thought)のような手法は、中間的論理の導出を通じてモデルの推論能力を向上し、この課題を推し進めている。
しかし、CoTは主に推論中のモデルの事前訓練された内部知識に依存しているため、これまでモデルに知られていなかった貴重な外部情報を無視している。
この省略、特に教師なしの推論プロセス内では、モデル全体のパフォーマンスに影響を与える可能性がある。
さらに、CoTはLarge Language Models (LLMs)を強化しているが、より小さなLMは効率的に運用されているものの、ニュアンスな推論を実現する上での課題に直面している。
これらのギャップに応答して、姿勢検出タスクにLadder-of-Thought(LoT)を導入する。
デュアルフェーズプログレッシブ最適化フレームワークを通じて構築されたLoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を洗練させる。
これらの確固たる合理性は、その後、より正確な予測の基礎となる。
LoTは効率と性能のバランスをとる。
実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
関連論文リスト
- STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient
Fine-Tuning of Large Language Models [23.956842699977795]
我々は不確実性に基づくアクティブラーニングとLoRAを統合する新しい手法を提案する。
不確実性ギャップについて、ベースモデルの不確実性とフルモデルの不確実性を組み合わせた動的不確実性測定を導入する。
モデルのキャリブレーションが不十分な場合、LoRAトレーニング中に正規化手法を導入し、モデルが過度に信頼されないようにする。
論文 参考訳(メタデータ) (2024-03-02T10:38:10Z) - Learning Planning-based Reasoning by Trajectories Collection and Process
Reward Synthesizing [66.50096740792928]
収集された軌道上での直接選好最適化(DPO)を通して計画に基づく推論を学習するフレームワークを提案する。
論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
論文 参考訳(メタデータ) (2024-02-01T15:18:33Z) - Outcome-supervised Verifiers for Planning in Mathematical Reasoning [17.527674878272176]
アウトカム・スーパービジョン・バリュー・モデル(OVM)は、テキスト・プランニングの効率的かつ直感的な方法として、成果管理をトレーニングに採用している。
GSM8KとGame of 24の2つの多段階数学的推論データセットに対する実験により,OVMモデルの優れた性能が示された。
論文 参考訳(メタデータ) (2023-11-16T09:56:28Z) - Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。
本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。
提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文 参考訳(メタデータ) (2023-11-16T09:07:34Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳(メタデータ) (2023-10-06T17:57:44Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Logic Constraints to Feature Importances [17.234442722611803]
AIモデルの"ブラックボックス"の性質は、診断技術や自律的ガイドなど、高度な分野における信頼性の高い応用の限界であることが多い。
近年の研究では、適切な解釈可能性のレベルが、モデル信頼性というより一般的な概念を強制できることが示されている。
本論文の基本的な考え方は,特定のタスクにおける特徴の重要性に関する人間の事前知識を利用して,モデルの適合のフェーズを整合的に支援することである。
論文 参考訳(メタデータ) (2021-10-13T09:28:38Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳(メタデータ) (2021-09-24T17:37:35Z) - On Duality Gap as a Measure for Monitoring GAN Training [2.733700237741334]
GAN(Generative adversarial Network)は、複雑なデータ分散を学習するための最もポピュラーなディープラーニングモデルのひとつです。
本稿では,この制限を理論的に理解し,双対性ギャップに対するより信頼性の高い推定法を提案する。
論文 参考訳(メタデータ) (2020-12-12T04:32:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。