論文の概要: Recognizing Atari and Assessing Sente: Controlled Evaluation Tasks for Language-Based Go Agents
- arxiv url: http://arxiv.org/abs/2610.22953v1
- Date: Fri, 16 Oct 2026 05:23:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.771228
- Title: Recognizing Atari and Assessing Sente: Controlled Evaluation Tasks for Language-Based Go Agents
- Title(参考訳): アタリ認識とセンテ評価:言語型囲碁エージェントの制御された評価課題
- Abstract要約: 我々は、アタリを中心とした制御された評価セットを構築し、その関係をGoで送付する。
本研究は,局所的な基板変更の下での用語認識と,異なる戦略条件下での移動評価について検討する。
我々のテストは、言語ベースのGoエージェントがドメイン用語と正確なボード関係と戦略的移動値とを結びつけるかどうかを調べるためのフレームワークを提供する。
- 参考スコア(独自算出の注目度): 0.5883115470883207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain terminology provides concise descriptions of game states and strategic relationships, but whether game-playing language models can accurately recognize these concepts and relate them to move evaluation remains unclear. We construct a controlled evaluation set centered on atari and its relationship to sente in Go, examining terminology recognition under local board changes and move evaluation under different strategic conditions. We conduct our tests on LoGos, a Go language model, after fine-tuning it with terminology and commentary supervision. The model struggles to recognize changes in the atari relationship and assess its strategic implications. Its terminology predictions are associated with move preferences even when those preferences contradict the reference evaluation. Our controlled tests provide a framework for examining whether language-based Go agents connect domain terminology with precise board relationships and strategic move values.
- Abstract(参考訳): ドメイン用語は、ゲーム状態と戦略的関係の簡潔な記述を提供するが、ゲームプレイ言語モデルがこれらの概念を正確に認識し、それらを関連づけて評価を移動させるかどうかはまだ不明である。
そこで我々は,アタリを中心にした制御された評価セットを構築し,それと囲碁の送受信との関係を考察し,局部的な変化の下での用語認識を検証し,異なる戦略条件下での評価を移動させる。
Go言語モデルであるLoGosで、用語と注釈の監督でそれを微調整した後、テストを実施します。
このモデルは、アタリ関係の変化を認識し、その戦略的意味を評価するのに苦労している。
その用語予測は、基準評価に矛盾する場合であっても移動選好と関連づけられる。
制御されたテストは、言語ベースのGoエージェントがドメイン用語と正確なボード関係と戦略的移動値とを結びつけるかどうかを調べるためのフレームワークを提供する。
関連論文リスト
- GameCommBench: A Unified Benchmark and Type-Aware Evaluation for AI-Generated Game Commentary [7.624548542228538]
textscGameCommBenchは、ボードゲーム、スポーツ、エスポートにまたがる統一ベンチマークである。
次に,異なるタイプのコメントを評価するための構造化フレームワークであるType-Aware Commentary Evaluation (TACE)を提案する。
その結果,一様でない能力プロファイルが示され,ライブ観察と戦略的分析が大きなボトルネックとして浮上した。
論文 参考訳(メタデータ) (2026-10-08T02:55:12Z) - Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。
フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。
本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文 参考訳(メタデータ) (2026-05-18T04:03:18Z) - Evaluating Counterfactual Strategic Reasoning in Large Language Models [12.949562489002304]
ゲーム理論の繰り返し設定において,Large Language Models (LLMs) を評価する。
プリソナーズ・ジレンマ (PD) とロック・パパー・シッセラー (RPS) の2つの標準ゲームを考える。
論文 参考訳(メタデータ) (2026-03-19T17:23:20Z) - Strategic Discourse Assessment: The Crooked Path to Innocence [23.337770980661677]
我々は,Gricean と Game-theoretic pragmatics を基盤とした SDA を導入し,言語の戦略的利用を評価する。
提案手法には,言論移動のコミットメントに基づく分類法と,Gricean maxims に根ざした推定可能プロキシの利用という,2つの重要な適応が組み込まれている。
我々は,ターンにおけるベネフィット(BAT),ターンにおけるペナルティ(PAT),ターンにおける正規化相対ベネフィット(NRBAT)の3つの解釈可能な指標を導出し,談話の動きによる戦略的影響を定量化する。
論文 参考訳(メタデータ) (2025-06-01T22:07:20Z) - Aspect-based Sentiment Evaluation of Chess Moves (ASSESS): an NLP-based Method for Evaluating Chess Strategies from Textbooks [3.652509571098292]
本研究は, テキストに基づくチェスの動きを評価する手段として, 修正感情分析法の適用可能性について検討する。
移動行動句から洞察を抽出することにより,よりきめ細やかで文脈的に認識されたチェスの動きに基づく感情分類を提供することが目的である。
論文 参考訳(メタデータ) (2024-05-10T14:23:43Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。
エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。
標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。
代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
論文 参考訳(メタデータ) (2023-05-06T23:11:25Z) - Understanding Game-Playing Agents with Natural Language Annotations [34.66200889614538]
本稿では,Goの10万個の人手による注釈付きゲームを含む新しいデータセットを提案する。
モデル解釈可能性のためのツールとして、これらの自然言語アノテーションをどのように利用できるかを示す。
論文 参考訳(メタデータ) (2022-04-15T16:11:08Z) - Lexical semantic change for Ancient Greek and Latin [61.69697586178796]
歴史的文脈における単語の正しい意味の連想は、ダイアクロニック研究の中心的な課題である。
我々は、動的ベイズ混合モデルに基づくセマンティック変化に対する最近の計算的アプローチに基づいて構築する。
本研究では,動的ベイズ混合モデルと最先端埋め込みモデルとのセマンティックな変化を系統的に比較する。
論文 参考訳(メタデータ) (2021-01-22T12:04:08Z) - A Unified Dual-view Model for Review Summarization and Sentiment
Classification with Inconsistency Loss [51.448615489097236]
ユーザーレビューから正確な要約と感情を取得することは、現代のEコマースプラットフォームにとって不可欠な要素である。
本稿では,これら2つのタスクの性能を協調的に改善する新しいデュアルビューモデルを提案する。
異なる領域の4つの実世界のデータセットに対する実験結果から,本モデルの有効性が示された。
論文 参考訳(メタデータ) (2020-06-02T13:34:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。