Битва технологий

PartyPoker

Создатель лучшего покерного бота о будущем роботостроения

Ноам Браун, создатель «Baby Tartanian 8» (BT8), робота, который выиграл ежегодный чемпионат по покеру среди машин, рассказывает о своём детище и будущем роботостроения.

Чемпионаты по покеру среди роботов проходят с 2006 года. За это время машины проделали огромный путь и стали гораздо сложнее и сильнее.

«В 2008–2009, когда мы только начинали работать с безлимитным холдемом, боты умели делать только три вещи: коллировать, выбрасывать карты в пас и ставить олл-ины. Чтобы написать код для бота понадобился месяц, затем „BT8“ месяц тестировали в лабораториях SDSC (San Diego Supercomputer Center)», — рассказывает Ноам.

Тем не менее, чтобы создавать покерных ботов суперкомпьютеры не нужны. Это доказали другие разработчики, которые принимали участие в чемпионате и сумели оказать BT8 достойное сопротивление.

«В этом году мы вошли в тройку лучших, две другие команды с пьедестала почёта никак не связаны с университетами. Один из разработчиков профессиональный игрокпрограммист, а второй — игрок-любитель, бывший сотрудник Google. Оба создали отличных ботов и оба вписались в $10 000», — говорит Шварц.

Покерный бот

«Стоимость вычислительных мощностей сегодня существенно сократилась. Чтобы создать робота подобного нашему опытным разработчикам, которые действительно знают, что делать, хватит и Amazon Cloud», — рассказывает Ноам.

Завсегдатае покерных форумов часто рассуждают о существовании GTO, оптимальной стратегии, противостоять которой невозможно. Браун заверяет всех, что безлимитный холдем в ближайшем, а, может быть, даже отдалённым будущем полностью решить не удастся, но радоваться рано:

«Лимитный и безлимитный холдем сильно отличаются друг от друга. В лимитном холдеме у тебя всегда есть три варианта: колл, фолд или ставка. В безлимитном холдеме возможностей гораздо больше. Ставка может быть любых размеров и каждый размер ставки будет интерпретироваться компьютером по-разному. Если вы хотите решить NLH, вам придётся иметь дело с игрой, которая имеет 10^163 возможностей (10 и 163 нуля). В лимитном холдеме вариаций намного меньше (10^15). Тем не менее, это не означает, что мы не сможем найти приблизительное решение игры. Думаю, в ближайшие пару лет нам удастся создать машину, которая будет обыгрывать лучших профессионалов, однако это не означает, что мы решим игру».

Многие считают, что роботов, как бы хорошо они не играли, легко обыграть, поскольку они играют по строгому алгоритму и, как следствие, ведут себя очень предсказуемо. Браун объясняет, что это не так и роботы даже умеют блефовать.

«Блеф в представлении компьютера — это нечто совершенно иное. В „мозгах“ компьютера происходит следующее: он прокручивают одну и ту же раздачу триллионы раз и приходит к понимаю, что ставить ему выгоднее, чем выбрасывать карты или сдаваться», — объясняет Шварц.

У роботов есть слабости: они совершенно не умеют играть за полными столами и подстраиваться.

«Эксплуатация оппонента — это важнейшая составляющая покера. Человекоподобные профессионалы умеют делать это очень хорошо. Они находят слабости в игре противника и бьют по больному. Если ты эксплуатируешь слабости в игре противника, ты отклоняешься от оптимальной стратегии и сам становишься уязвимым, однако в большинстве случаев это того стоит».

«Мы провели немало исследований в этой области, однако эксплуатировать оппонента роботов так и не научили. Используемый нами метод предельно прост. Робот просто играет, пробует различные варианты и, в конце концов, находит оптимальный ход, который идеально работает именно против этого игрока. Проблема в том, что для обнаружения слабости роботу нужны триллионы раздач. Мы не можем научить их делать это быстрее и это, наверное, главная слабость ботов сегодня».

Несмотря на все трудности Браун уверен, что, если бы «Baby Tartanian 8» оказался за столами для онлайн покера, он смог бы играть в плюс:

«Если говорить об игре один на один, наш робот способен показывать очень хорошую игру. Наш предыдущий бот (Claudico) играл с четырьмя лучшими ХА-игроками. Он проиграл, но оказал достойное сопротивление. Baby Tartanian стал сильнее, мне кажется, что обыграть его может лишь небольшая группа игроков».

«Я уверен, что ХА-боты очень скоро станут намного сильнее людей, но это не означает, что они будут широко распространены в онлайне. Мне кажется, румы обладают ресурсами, чтобы вычислить ботов и не допустить их к игре», — уверен Ноам.