Облачные сервисы для работы с Jupyter-блокнотами

#python #cloud

Использовать ml-блокноты для расчетов на локальной машине эффективно только в том случае, если на компьютере есть мощная видеокарта, а еще лучше, когда несколько. Но и в этом случае для работы необходимо будет подготавливать рабочее окружение, устанавливая и настраивая ПО.

В то же время ряд компаний предоставляет возможность запускать ml-блокноты в облаках. К примеру тот же Google предоставляет сервис colab.research , в котором есть возможность использования GPU и TPU как в бесплатном, так и платном вариантах. Единственно, пишут что платный вариант доступен только в США и Канаде, а в бесплатном есть определенные ограничения на использование оперативной памяти и времени выполнения.

Тот же Google позволяет запускать блокноты на еще одном популярном сервисе: Kaggle . Как и в случае с colab, тут можно использовать GPU. При этом есть огромная база готовых датасетов и более отзывчивый интерфейс.

Microsoft со своей стороны предоставляет возможность запуска блокнотов в своем сервисе Microsoft Azure Notebooks , который находиться в бета-режиме и с 15 января все данные с него будут удалены. Так что пока под большим вопросом его использование.

Amazon подготовил отдельный сервис для ml-исследователей: Amazon SageMaker . Который позволяет удаленно запускать блокноты на автоматически запускаемых инстансах определенной производительности. На странице описания приводятся примеры расчетов стоимости использования. И выглядит все довольно не плохо.

Для обучения и изучения ML вполне достаточно будет бесплатного colab.research от Google или Kaggle с его базой датасетов. Он позволит быстро провести необходимые расчеты, гораздо быстрее, чем на локальной машине. И при этом не беспокоиться о настройке необходимого ПО.

Но при использовании в рабочем режиме, когда не стоит передавать свои наработки Google, самым оптимальным вариантом является использование Amazon SageMaker.

Но это уже лично мое мнение.