論文の概要: Mirror: A Multiple-perspective Self-Reflection Method for Knowledge-rich
Reasoning
- arxiv url: http://arxiv.org/abs/2402.14963v1
- Date: Thu, 22 Feb 2024 20:57:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 16:30:56.426640
- Title: Mirror: A Multiple-perspective Self-Reflection Method for Knowledge-rich
Reasoning
- Title(参考訳): Mirror: 知識豊富な推論のための多視点自己回帰法
- Authors: Hanqi Yan, Qinglin Zhu, Xinyu Wang, Lin Gui, Yulan He
- Abstract要約: 大規模言語モデル(LLM)は、外部リソースにアクセスすることなく知識に富んだ問題に対処する。
知識豊富な推論のための多重パースペクティブ自己回帰法であるMirrorを提案する。
- 参考スコア(独自算出の注目度): 19.924611600587006
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Large language models (LLMs) have the capability to iteratively reflect
on their own outputs, recent studies have observed their struggles with
knowledge-rich problems without access to external resources. In addition to
the inefficiency of LLMs in self-assessment, we also observe that LLMs struggle
to revisit their predictions despite receiving explicit negative feedback.
Therefore, We propose Mirror, a Multiple-perspective self-reflection method for
knowledge-rich reasoning, to avoid getting stuck at a particular reflection
iteration. Mirror enables LLMs to reflect from multiple-perspective clues,
achieved through a heuristic interaction between a Navigator and a Reasoner. It
guides agents toward diverse yet plausibly reliable reasoning trajectory
without access to ground truth by encouraging (1) diversity of directions
generated by Navigator and (2) agreement among strategically induced
perturbations in responses generated by the Reasoner. The experiments on five
reasoning datasets demonstrate that Mirror's superiority over several
contemporary self-reflection approaches. Additionally, the ablation study
studies clearly indicate that our strategies alleviate the aforementioned
challenges.
- Abstract(参考訳): 大規模言語モデル(LLM)は,自らの出力を反復的に反映する能力を持っているが,近年の研究では,外部リソースにアクセスすることなく,知識に富んだ問題との戦いが観察されている。
自己評価におけるLLMの非効率性に加えて,LLMは負のフィードバックを受けながら予測の再検討に苦慮している。
そこで本研究では,知識豊富な推論のための多視点自己回帰法であるmirrorを提案する。
Mirrorは、ナビゲータとReasonerの間のヒューリスティックな相互作用によって達成された、複数のパースペクティブな手がかりからLLMを反映することができる。
エージェントは(1)ナビゲータが生み出す方向の多様性と(2)リーソナーが生み出す反応における戦略的に誘発される摂動の合意を奨励することにより、地上の真実にアクセスすることなく多様で信頼性の高い推論軌道へ誘導する。
5つの推論データセットに関する実験は、ミラーが複数の現代の自己回帰アプローチよりも優れていることを示した。
また, アブレーション研究の結果, 上記の課題を緩和する戦略が示唆された。
関連論文リスト
- Meaningful Learning: Advancing Abstract Reasoning in Large Language Models via Generic Fact Guidance [38.49506722997423]
大規模言語モデル(LLM)は、様々な推論シナリオにまたがる優れたパフォーマンスと強力な説明可能性を開発した。
それにもかかわらず、一般的な事実に支えられた単純な質問をタスクすると、LCMは一貫性のある正確な答えを提供しないことが多い。
このことは、LSMが真に推論しているのか、単に記憶しているだけなのか、という活発な議論を引き起こしている。
論文 参考訳(メタデータ) (2024-03-14T04:06:13Z) - How Far Are We from Intelligent Visual Deductive Reasoning? [43.51562357823971]
私たちは、より洗練されているが探求の少ない領域である、視覚に基づく誘惑的推論を掘り下げる。
現在のSOTA VLMでは、未公表の盲点が発見されている。
LLMに適用した場合に有効な標準的な戦略は、視覚的推論タスクによってもたらされる課題にシームレスに対応しないことがわかった。
論文 参考訳(メタデータ) (2024-03-07T18:35:54Z) - LEMMA: Towards LVLM-Enhanced Multimodal Misinformation Detection with
External Knowledge Augmentation [62.01320842738655]
外部知識を付加したLVLM強化マルチモーダル誤報検出システム LEMMAを提案する。
提案手法は,Twitter と Fakeddit のデータセットにおいて,上位ベースライン LVLM の精度を 7% と 13% に向上させる。
論文 参考訳(メタデータ) (2024-02-19T08:32:27Z) - Self-Contrast: Better Reflection Through Inconsistent Solving Perspectives [45.87069217634753]
研究によると、外部からのフィードバックがなければ、Large Language Modelの本質的なリフレクションは不安定である。
我々の調査によると、重要なボトルネックは自己評価されたフィードバックの品質である。
要求に合わせて様々な解決の観点を適応的に探求し、相違点を対比し、これらの相違点を再検討し、相違点を排除するために使用できるチェックリストにまとめます。
論文 参考訳(メタデータ) (2024-01-04T00:32:33Z) - The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。
LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。
自己補充ベースラインよりも+5ポイントの性能向上を達成する。
論文 参考訳(メタデータ) (2023-11-14T07:26:32Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Encouraging Divergent Thinking in Large Language Models through
Multi-Agent Debate [56.23037393834715]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z) - Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large
Language Models in Knowledge Conflicts [21.34852490049787]
本稿では,大規模言語モデル(LLM)の知識衝突時の行動に関する包括的かつ制御された最初の調査について述べる。
LLMは, パラメトリックメモリと矛盾しても, 外部の証拠に対して高い受容性を有することが判明した。
一方、LCMは、外部証拠がパラメトリックメモリと整合した情報を含む場合、強い確証バイアスを示す。
論文 参考訳(メタデータ) (2023-05-22T17:57:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。