論文の概要: DS@GT ARC at Touché: Large Language Models for Retrieval-Augmented Debate
- arxiv url: http://arxiv.org/abs/2608.08143v1
- Date: Sat, 08 Aug 2026 14:04:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.694758
- Title: DS@GT ARC at Touché: Large Language Models for Retrieval-Augmented Debate
- Title（参考訳）: DS@GT ARC at Touché: Retrieval-Augmented Debateのための大規模言語モデル
- Abstract要約: DS@GT ARCのワークノートをTouché 2025 Retrieval-Augmented Debateタスクに拡張します。
このタスクには2つのサブタスクがあり、シミュレーションされた議論で次の発話を生成し、議論の反応を評価する。
作業論文から得られた結果を要約し、マルチLLM評価器合意が公式評価性能の信頼できるプロキシであるかどうかを考察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We extend the DS@GT ARC working-note submission to the Touché 2025 Retrieval-Augmented Debate task. The task has two subtasks: generating the next utterance in a simulated debate, and evaluating debate responses according to the Gricean maxims of Quantity, Quality, Relation, and Manner. The DS@GT ARC submission consisted of six leading LLMs from three providers through a retrieval-augmented prompting pipeline. We summarize the results from the working paper and explore whether multi-LLM evaluator agreement is a reliable proxy for official evaluation performance. The analysis shows that frontier LLM systems are strong response generators, and as evaluators they agree strongly within model families. However this consensus does not reliably track the official evaluation target, with the largest gap on the Quality maxim. The accompanying source code for this paper is located at https://github.com/dsgt-arc/touche-2025-rad and https://github.com/dsgt-arc/touche-2025-rad-analysis.
- Abstract（参考訳）: DS@GT ARCのワークノートをTouché 2025 Retrieval-Augmented Debateタスクに拡張します。
このタスクには2つのサブタスクがある: シミュレーションされた議論において次の発話を生成すること、およびGricean maxims of Quantity, Quality, Relation, and Mannerに従って議論の応答を評価する。
DS@GT ARCは3つのプロバイダから検索拡張プロンプトパイプラインを通じて6つのLLMで構成されている。
作業論文から得られた結果を要約し、マルチLLM評価器合意が公式評価性能の信頼できるプロキシであるかどうかを考察する。
この分析により、フロンティアLLM系は強い応答生成器であり、評価器としてモデルファミリー内では強く一致することが示された。
しかし、この合意は、品質の最大値に最大のギャップがある公式評価目標を確実に追跡していない。
本論文のソースコードはhttps://github.com/dsgt-arc/touche-2025-radとhttps://github.com/dsgt-arc/touche-2025-rad分析にある。
関連論文リスト
- RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。
出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。
Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
論文 参考訳（メタデータ） (2026-07-28T17:12:41Z) - DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA [0.0]
RAG QAシステムに適用した従来の自然言語評価指標と引用整合性の相違について検討する。
ベースラインおよびフロンティアモデルベンチマークRAG QAスコアに対して,CRAG(Corrective RAG)とCiteFixを用いた補正パイプラインの評価を行った。
信頼性の高いRAG QAの評価には厳格な回答の根拠を与える指標が必要であると提案する。
論文 参考訳（メタデータ） (2026-07-15T22:35:02Z) - DS@GT at Touché: Large Language Models for Retrieval-Augmented Debate [0.0]
Retrieval-Augmented Debate and Evaluationの6つの主要な公開モデルを展開します。
評価は、Quality、Quantity、Manner、Relationの4つの重要なメトリクスを測定することで行われる。
LLMは関連する議論を行う際にはよく機能するが、評価において一貫性のある応答では冗長である傾向にある。
論文 参考訳（メタデータ） (2025-07-12T00:20:00Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳（メタデータ） (2025-05-28T14:55:33Z) - GLIDER: Grading LLM Interactions and Decisions using Explainable Ranking [0.9614204956530676]
我々は,任意のユーザ定義基準に基づいて任意のテキスト入力および関連するコンテキストをスコアできる,強力な3B評価用LLMであるGLIDERを紹介する。
GLIDERは、FLASK上のGPT-4oよりもピアソンの相関が高く、事前評価モデルよりも大幅に優れていた。
きめ細かいスコア付け、多言語推論、強調表示をサポートし、685のドメインと183の基準でトレーニングされた。
論文 参考訳（メタデータ） (2024-12-18T18:41:12Z) - ConQRet: Benchmarking Fine-Grained Evaluation of Retrieval Augmented Argumentation with LLM Judges [23.179246872272362]
今日の分極環境では、計算的議論がますます重要になっている。
そこで本研究では,現実世界のWebサイトを基盤とした,議論されたトピックに関する,長く複雑な人間による議論を特徴とする新しいベンチマークを提案する。
提案した LLM Judges と ConQRet ベンチマークは,計算議論の急速な進展を可能にする。
論文 参考訳（メタデータ） (2024-12-06T17:35:52Z) - Argue with Me Tersely: Towards Sentence-Level Counter-Argument
Generation [62.069374456021016]
本稿では,文レベル逆問題生成のためのArgTerselyベンチマークを提案する。
また,Arg-LlaMAによる高品質な逆問題生成手法を提案する。
論文 参考訳（メタデータ） (2023-12-21T06:51:34Z) - RADE: Reference-Assisted Dialogue Evaluation for Open-Domain Dialogue [37.82954848948347]
マルチタスク学習フレームワークを用いた参照支援対話評価(RADE)手法を提案する。
RADEは、参照と候補のレスポンスを明示的に比較して、全体のスコアを予測する。
3つのデータセットと2つの既存のベンチマーク実験により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-09-15T04:47:19Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:12:43Z) - Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。
その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
論文 参考訳（メタデータ） (2023-02-02T07:51:19Z) - Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。
本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
論文 参考訳（メタデータ） (2022-10-10T05:51:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。