Используйте управляемые контейнеры SageMaker.
Одним из самых мощных аспектов SageMaker является количество поддерживаемых им фреймворков и гибкость, которую он предлагает разработчикам для использования своих пакетов и библиотек, с которыми они работают. SageMaker распознает инструменты, с которыми вы работаете, через контейнеры Docker. Создавать контейнеры с нуля может быть сложно, поэтому SageMaker упрощает эту задачу, предоставляя управляемые образы для популярных фреймворков, таких как TensorFlow, PyTorch и совсем недавно HuggingFace.
Это упрощает процесс разработки в SageMaker, поскольку вы можете извлекать эти изображения как для обучения, так и для вывода. С помощью контейнеров, управляемых SageMaker, вы можете больше сосредоточиться на создании сценариев обучения и логических выводов. Как нам получить эти контейнеры? Это упрощается с помощью SageMaker Python SDK.
Получение изображения с помощью SageMaker Python SDK
Сначала создайте в SageMaker экземпляр блокнота выбранного типа. После запуска экземпляра откройте блокнот по вашему выбору, для этого примера должно быть достаточно ядра Python3. Первый шаг — убедиться, что пакет SageMaker обновлен. Выполните следующую команду, затем перезапустите ядро.
После этого мы можем импортировать SageMaker и быстро приступить к работе. Вам нужно указать несколько параметров. Во-первых, определите фреймворк глубокого обучения и версию, с которой вы работаете. Доступные изображения показаны в прикрепленной ссылке. Затем вам нужно указать область изображения, то есть изображение для обучения или вывода. Наряду с этим укажите регион, в котором вы работаете, и вы можете сделать простой вызов API для получения изображения.
В этом примере мы должны увидеть полученное изображение TensorFlow Inference Image.
Заключение и дополнительные ресурсы
Итак, как мы можем использовать эти изображения для глубокого обучения? Есть несколько разных функций. Для самого простого пути вы можете указать эти изображения, если вы работаете с какой-либо из этих платформ для обучения и/или логического вывода. Если вы работаете с дополнительными пакетами/библиотеками за пределами этих образов, вы можете использовать подход Расширить контейнер.
В файле Docker вы можете получить этот образ, а затем установить любые другие зависимости, с которыми вы работаете. Для примера расширения вашего контейнера посмотрите этот пример. Дополнительные примеры SageMaker, связанные с Inference, можно найти в этом репозитории, который я создавал и компилировал.
Спасибо за прочтение.
Если вам понравилась эта статья, не стесняйтесь связаться со мной в LinkedIn и подписаться на мою Информационную рассылку. Если вы новичок в Medium, зарегистрируйтесь с помощью моего Реферала для участников.
Больше контента на plainenglish.io
