論文の概要: Graph Retrieval Augmented Trustworthiness Reasoning
- arxiv url: http://arxiv.org/abs/2408.12333v1
- Date: Thu, 22 Aug 2024 12:21:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-08-23 14:03:43.042827
- Title: Graph Retrieval Augmented Trustworthiness Reasoning
- Title(参考訳): グラフ検索の信頼性向上
- Authors: Ying Zhu, Shengchang Li, Ziqian Kong, Peilan Xu,
- Abstract要約: エージェントの信頼性推論を促進するために,グラフ検索強化推論(GRATR)フレームワークを導入する。
GRATRは動的信頼性グラフを構築し、明らかな情報でリアルタイムで更新する。
以上の結果から, GRATRは勝利率を30%以上上回り, より優れた推算性能を示した。
- 参考スコア(独自算出の注目度): 1.1660282484277826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trustworthiness reasoning is crucial in multiplayer games with incomplete information, enabling agents to identify potential allies and adversaries, thereby enhancing reasoning and decision-making processes. Traditional approaches relying on pre-trained models necessitate extensive domain-specific data and considerable reward feedback, with their lack of real-time adaptability hindering their effectiveness in dynamic environments. In this paper, we introduce the Graph Retrieval Augmented Reasoning (GRATR) framework, leveraging the Retrieval-Augmented Generation (RAG) technique to bolster trustworthiness reasoning in agents. GRATR constructs a dynamic trustworthiness graph, updating it in real-time with evidential information, and retrieves relevant trust data to augment the reasoning capabilities of Large Language Models (LLMs). We validate our approach through experiments on the multiplayer game "Werewolf," comparing GRATR against baseline LLM and LLM enhanced with Native RAG and Rerank RAG. Our results demonstrate that GRATR surpasses the baseline methods by over 30\% in winning rate, with superior reasoning performance. Moreover, GRATR effectively mitigates LLM hallucinations, such as identity and objective amnesia, and crucially, it renders the reasoning process more transparent and traceable through the use of the trustworthiness graph.
- Abstract(参考訳): 不完全な情報を持つマルチプレイヤーゲームにおいて、信頼できる推論は不可欠であり、エージェントは潜在的な同盟者や敵を識別し、推論と意思決定のプロセスを強化する。
事前訓練されたモデルに依存する従来のアプローチでは、広範囲なドメイン固有データと相当な報奨フィードバックが必要であり、リアルタイム適応性の欠如により、動的環境での有効性が損なわれている。
本稿では,エージェントの信頼性向上にRAG(Retrieval-Augmented Generation)技術を活用するGRATR(Graph Retrieval Augmented Reasoning)フレームワークを提案する。
GRATRは、動的信頼性グラフを構築し、明快な情報でリアルタイムで更新し、関連する信頼データを取得して、Large Language Models(LLMs)の推論能力を増強する。
我々は,マルチプレイヤーゲーム"Werewolf"の実験を通じて,GRATRとNative RAGとRerank RAGを併用したベースラインLLMとLLMを比較し,本手法の有効性を検証した。
その結果, GRATR は勝利率を 30 % 以上上回り, 高い推算性能を示した。
さらに、GRATRは、アイデンティティや目的記憶といったLCM幻覚を効果的に緩和し、重要な点として、信頼性グラフを用いることで、推論プロセスをより透明でトレース可能にする。
関連論文リスト
- Assessing the Potential of Generative Agents in Crowdsourced Fact-Checking [7.946359845249688]
大規模言語モデル(LLM)は、ファクトチェックタスク全体で強いパフォーマンスを示している。
本稿では,伝統的にヒトの群集に予約されていた事実確認作業に,生成エージェントが有意義に寄与するかどうかを考察する。
エージェント・群衆は、誠実さの分類において人間の群衆より優れ、内部の一貫性が高く、社会的および認知的バイアスに対する感受性が低下している。
論文 参考訳(メタデータ) (2025-04-24T18:49:55Z) - Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
半正直な設定で一貫したバックドア検出フレームワークを提案する。
本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。
特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
論文 参考訳(メタデータ) (2025-03-21T06:12:06Z) - ClaimTrust: Propagation Trust Scoring for RAG Systems [7.7690689135107425]
ClaimTrustは、RAGシステムにおける文書の信頼性を動的に評価する、伝搬ベースの信頼評価フレームワークである。
我々は、政治ニュース記事814件を前処理し分析し、2,173件のユニークなクレームを抽出し、965件の有意義な関係を分類する。
ClaimTrustは、信頼に値する記事と信頼できない記事とを効果的に区別し、コンバージェンスまで信頼スコアを反復的に更新する。
論文 参考訳(メタデータ) (2025-03-12T07:52:24Z) - Simple is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。
本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。
提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
論文 参考訳(メタデータ) (2024-10-28T04:39:32Z) - Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。
我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
論文 参考訳(メタデータ) (2024-10-21T17:00:06Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳(メタデータ) (2024-09-26T21:00:45Z) - WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs [10.380692079063467]
本稿では,Web検索と知識グラフを統合したWeKnow-RAGを提案する。
まず,知識グラフの構造化表現と高次ベクトル検索の柔軟性を組み合わせることで,LLM応答の精度と信頼性を向上させる。
提案手法は,情報検索の効率と精度を効果的にバランスさせ,全体の検索プロセスを改善する。
論文 参考訳(メタデータ) (2024-08-14T15:19:16Z) - TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs [50.259001311894295]
TRACE と呼ばれるコントラスト埋め込みを用いた新しいTRansformer-based Attribution フレームワークを提案する。
TRACEは情報源の属性を精度良く改善し,大規模言語モデルの信頼性と信頼性を高める貴重なツールであることを示す。
論文 参考訳(メタデータ) (2024-07-06T07:19:30Z) - InstructRAG: Instructing Retrieval-Augmented Generation via Self-Synthesized Rationales [14.655518998487237]
InstructRAGを提案する。そこでは、LMが自己合成的理性を通して認知過程を明示的に学習する。
インストラクションRAGは追加の監視を必要としないため、予測された回答の検証が容易になる。
実験によると、InstructRAGはトレーニング不要とトレーニング可能な両方のシナリオにおいて、既存のRAGメソッドを一貫して上回っている。
論文 参考訳(メタデータ) (2024-06-19T15:25:29Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳(メタデータ) (2024-06-18T17:32:48Z) - Not All Contexts Are Equal: Teaching LLMs Credibility-aware Generation [47.42366169887162]
Credibility-Aware Generation (CAG) は、信頼性に基づいて情報を識別・処理する能力を備えたモデルを提供することを目的としている。
提案モデルは,生成に対する信頼性を効果的に理解し活用し,検索強化により他のモデルよりも大幅に優れ,ノイズの多い文書による破壊に対するレジリエンスを示す。
論文 参考訳(メタデータ) (2024-04-10T07:56:26Z) - InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。
本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。
InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
論文 参考訳(メタデータ) (2024-02-14T17:49:07Z) - Minimizing Factual Inconsistency and Hallucination in Large Language
Models [0.16417409087671928]
大規模言語モデル(LLM)は医療、教育、金融といった重要な分野で広く使われている。
本稿では,まず理性を生成する多段階フレームワークを提案する。
当社のフレームワークは,OpenAI GPT-3.5-turboの信頼性を14~25%向上し,2つのデータセットに対して16~22%向上させることで,従来の検索拡張生成(RAG)を改善する。
論文 参考訳(メタデータ) (2023-11-23T09:58:39Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳(メタデータ) (2023-09-14T03:48:27Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z) - Personalized multi-faceted trust modeling to determine trust links in
social media and its potential for misinformation management [61.88858330222619]
ソーシャルメディアにおけるピア間の信頼関係を予測するためのアプローチを提案する。
本稿では,データ駆動型多面信頼モデルを提案する。
信頼を意識したアイテムレコメンデーションタスクで説明され、提案したフレームワークを大規模なYelpデータセットのコンテキストで評価する。
論文 参考訳(メタデータ) (2021-11-11T19:40:51Z) - Learning to Give Checkable Answers with Prover-Verifier Games [23.93694563816463]
Prover-Verifier Games (PVGs) は,学習エージェントが決定問題を検証可能な方法で解くことを奨励するゲーム理論フレームワークである。
我々は、同時かつ連続的なゲームを含むフレームワークの変種を分析し、その空間を、確実に所望の平衡を持つゲームのサブセットに絞り込む。
2つのアルゴリズムタスクに対するPVGのインスタンス化を開発し、実際に、検証者は信頼できない証明者から有用で信頼性の高い情報を受信できる堅牢な決定ルールを学習することを示す。
論文 参考訳(メタデータ) (2021-08-27T02:56:06Z) - BaFFLe: Backdoor detection via Feedback-based Federated Learning [3.6895394817068357]
フィードバックに基づくフェデレーション学習(BAFFLE)によるバックドア検出を提案する。
BAFFLEは,最先端のバックドア攻撃を100%,偽陽性率5%以下で確実に検出できることを示す。
論文 参考訳(メタデータ) (2020-11-04T07:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。