論文の概要: GRATR: Zero-Shot Evidence Graph Retrieval-Augmented Trustworthiness Reasoning
- arxiv url: http://arxiv.org/abs/2408.12333v3
- Date: Mon, 27 Jan 2025 09:18:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:51:11.314492
- Title: GRATR: Zero-Shot Evidence Graph Retrieval-Augmented Trustworthiness Reasoning
- Title(参考訳): GRATR:ゼロショットエビデンスグラフ検索の信頼性向上
- Authors: Ying Zhu, Shengchang Li, Ziqian Kong, Qiang Yang, Peilan Xu,
- Abstract要約: 信頼度推論(Trustworthiness reasoning)は、非完全な情報を持つマルチプレイヤーゲームのエージェントが潜在的な同盟国や敵を識別できるようにすることを目的としている。
本稿では,ゲーム環境から観測可能な証拠を検索するGRATRフレームワークを提案する。
- 参考スコア(独自算出の注目度): 7.3795957796342195
- License:
- Abstract: Trustworthiness reasoning aims to enable agents in multiplayer games with incomplete information to identify potential allies and adversaries, thereby enhancing decision-making. In this paper, we introduce the graph retrieval-augmented trustworthiness reasoning (GRATR) framework, which retrieves observable evidence from the game environment to inform decision-making by large language models (LLMs) without requiring additional training, making it a zero-shot approach. Within the GRATR framework, agents first observe the actions of other players and evaluate the resulting shifts in inter-player trust, constructing a corresponding trustworthiness graph. During decision-making, the agent performs multi-hop retrieval to evaluate trustworthiness toward a specific target, where evidence chains are retrieved from multiple trusted sources to form a comprehensive assessment. Experiments in the multiplayer game \emph{Werewolf} demonstrate that GRATR outperforms the alternatives, improving reasoning accuracy by 50.5\% and reducing hallucination by 30.6\% compared to the baseline method. Additionally, when tested on a dataset of Twitter tweets during the U.S. election period, GRATR surpasses the baseline method by 10.4\% in accuracy, highlighting its potential in real-world applications such as intent analysis.
- Abstract(参考訳): 信頼度推論は、非完全な情報を持つマルチプレイヤーゲームのエージェントが潜在的な同盟者や敵を識別し、意思決定を強化することを目的としている。
本稿では,ゲーム環境から観測可能な証拠を抽出し,学習を必要とせずに大規模言語モデル(LLM)による意思決定を通知するGRATR(Graph Search-augmented Trustworthiness reasoning)フレームワークを提案する。
GRATRフレームワーク内では、エージェントがまず他のプレイヤーの行動を観察し、プレイヤー間の信頼の変化を評価し、対応する信頼性グラフを構築する。
意思決定中、エージェントは、複数の信頼できるソースからエビデンスチェーンを検索して総合的なアセスメントを形成する特定のターゲットに対する信頼性を評価するために、マルチホップ検索を行う。
マルチプレイヤーゲーム \emph{Werewolf} の実験では、GRATR が代替よりも優れ、推論精度が 50.5 % 向上し、ベースライン法に比べて幻覚率が 30.6 % 低下することを示した。
さらに、米国の選挙期間中にTwitterのつぶやきのデータセットでテストすると、GRATRはベースラインメソッドを10.4\%の精度で上回り、インテント分析のような現実世界のアプリケーションにおけるその可能性を強調している。
関連論文リスト
- Reasoner Outperforms: Generative Stance Detection with Rationalization for Social Media [12.479554210753664]
本研究は、明確な解釈可能な有理性を含む姿勢予測を含む生成的アプローチを採用する。
姿勢検出に推論を組み込むことで、より小さなモデル(FlanT5)がGPT-3.5のゼロショット性能を上回ることが判明した。
論文 参考訳(メタデータ) (2024-12-13T16:34:39Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳(メタデータ) (2024-09-26T21:00:45Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳(メタデータ) (2024-06-18T17:32:48Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳(メタデータ) (2023-09-14T03:48:27Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Personalized multi-faceted trust modeling to determine trust links in
social media and its potential for misinformation management [61.88858330222619]
ソーシャルメディアにおけるピア間の信頼関係を予測するためのアプローチを提案する。
本稿では,データ駆動型多面信頼モデルを提案する。
信頼を意識したアイテムレコメンデーションタスクで説明され、提案したフレームワークを大規模なYelpデータセットのコンテキストで評価する。
論文 参考訳(メタデータ) (2021-11-11T19:40:51Z) - Learning to Give Checkable Answers with Prover-Verifier Games [23.93694563816463]
Prover-Verifier Games (PVGs) は,学習エージェントが決定問題を検証可能な方法で解くことを奨励するゲーム理論フレームワークである。
我々は、同時かつ連続的なゲームを含むフレームワークの変種を分析し、その空間を、確実に所望の平衡を持つゲームのサブセットに絞り込む。
2つのアルゴリズムタスクに対するPVGのインスタンス化を開発し、実際に、検証者は信頼できない証明者から有用で信頼性の高い情報を受信できる堅牢な決定ルールを学習することを示す。
論文 参考訳(メタデータ) (2021-08-27T02:56:06Z) - SRLF: A Stance-aware Reinforcement Learning Framework for Content-based
Rumor Detection on Social Media [15.985224010346593]
初期のコンテンツベースの方法は、噂の検出のためにテキストとユーザープロファイルから手がかりを見つけることに集中した。
近年の研究では、ユーザのコメントとニュースコンテンツを組み合わせて、真実と偽の噂の違いを捉えている。
本稿では,モデルトレーニングと噂検出のための高品質なラベル付き姿勢データを選択するための,SRLF(Stance-Aware Reinforcement Learning Framework)を提案する。
論文 参考訳(メタデータ) (2021-05-10T03:58:34Z) - BaFFLe: Backdoor detection via Feedback-based Federated Learning [3.6895394817068357]
フィードバックに基づくフェデレーション学習(BAFFLE)によるバックドア検出を提案する。
BAFFLEは,最先端のバックドア攻撃を100%,偽陽性率5%以下で確実に検出できることを示す。
論文 参考訳(メタデータ) (2020-11-04T07:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。