Amazon S3
Содержание
Amazon Simple Storage Service (Amazon S3) – это сервис хранения объектов, предлагающий лучшие в отрасли показатели производительности, масштабируемости, доступности и безопасности данных. Это означает, что нашими клиентами могут быть компании любых размеров и из любых областей деятельности. Они могут использовать наш сервис для хранения и защиты любых объемов данных в различных ситуациях, например для обеспечения работы озер данных, сайтов, мобильных приложений, для резервного копирования и восстановления, архивации, корпоративных приложений, устройств IoT и анализа больших данных. Amazon S3 предлагает простые в использовании инструменты администрирования, которые позволяют организовать данные и точно настроить ограничения доступа в соответствии потребностями вашего бизнеса или законодательными требованиями. Amazon S3 обеспечивает надежность 99,999999999 % (здесь 11 девяток) и хранит данные миллионов приложений в интересах компаний со всего мира.
Преимущества
Ведущие в отрасли показатели производительности, масштабируемости, доступности и надежности
Можно легко увеличивать и сокращать ресурсы хранилища в соответствии с колебаниями потребностей, при этом не требуются предварительные вложения или затраты на приобретение ресурсов. Сервис Amazon S3 обеспечивает надежность данных 99,999999999 % (здесь 11 девяток), поскольку он автоматически создает и сохраняет копии всех объектов из S3 во множестве независимых систем. Это означает, что ваши данные доступны, когда они нужны, и защищены от сбоев, ошибок и угроз. Amazon S3 также автоматически тщательно проверяет согласованность операций чтения после записи. Этот процесс абсолютно бесплатный и не влияет на производительность или доступность.
Широкий выбор экономичных классов хранилищ
Сокращайте затраты, не жертвуя производительностью, путем хранения данных в различных классах хранилищ S3, которые обеспечивают различные уровни доступа к данным по соответствующим расценкам. Можно использовать анализ классов хранилищ S3, чтобы выявить данные, которые следует перенести в менее затратный класс хранилища, на основании моделей доступа к ним, а также настроить политику жизненного цикла S3, чтобы выполнять перенос. Можно также хранить данные с меняющимися или неизвестными моделями доступа в системе S3 Intelligent-Tiering, которая распределяет объекты по уровням на основании меняющихся моделей доступа и автоматически обеспечивает сокращение затрат. Благодаря классу хранилища S3 Outposts вы можете выполнить требования к размещению данных и хранить данные локально в своей среде Outposts, используя S3 on Outposts. Оптимизируйте затраты при использовании S3 » и узнайте больше о классах хранилища S3 »
Самые широкие возможности по обеспечению безопасности, соблюдению законодательных требований и аудиту
Храните свои данные в Amazon S3 и защитите их от несанкционированного доступа с помощью возможностей шифрования и инструментов управления доступа. S3 – это единственный сервис хранения объектов с возможностью блокирования публичного доступа ко всем объектам в корзине или на уровне аккаунта с помощью функции S3 Block Public Access. S3 соответствует нормативам таких стандартов, как PCI‑DSS, HIPAA/HITECH, FedRAMP, директива ЕС по защите данных и FISMA, что позволяет выполнить законодательные требования. S3 интегрируется с сервисом Amazon Macie для обнаружения и защиты конфиденциальных данных. AWS также поддерживает разнообразные возможности аудита, чтобы отслеживать запросы на доступ к вашим ресурсам в S3.
Средства контроля данных и доступа к ним
S3 обеспечивает надежные возможности управления данными и отслеживания связанных с ними расходов, а также репликации и защиты данных. Компонент S3 Access Points упрощает управление доступом к данным с определенными разрешениями для приложений, использующих общие наборы данных. Функция репликации S3 позволяет управлять репликацией данных в пределах региона или в других регионах. Точки доступа Amazon S3 для нескольких регионов повышают производительность до 60 % при доступе к наборам данных, которые реплицируются в нескольких регионах AWS. Благодаря пакетным операциям S3 можно управлять крупномасштабными изменениями миллиардов объектов. Функция S3 Storage Lens обеспечивает наглядное представление хранилища объектов и тенденций активности в масштабах всей организации. Поскольку S3 работает с AWS Lambda, вы можете регистрировать действия, определять предупреждения и автоматизировать рабочие процессы без управления какой‑либо дополнительной инфраструктурой.
Запрос к данным без извлечения и обработка данных по запросу
Проводите анализ больших данных на своих объектах S3 с помощью наших сервисов для отправки запросов к данным без извлечения. Используйте Amazon Athena для отправки запросов к данным в S3 с помощью стандартных выражений SQL и Amazon Redshift Spectrum для анализа данных в хранилищах AWS и ресурсах S3. Кроме того, можно использовать S3 Select для извлечения нужных наборов данных по объектам вместо объектов целиком и повысить производительность запросов на 400 %. С помощью функции S3 Object Lambda вы сможете добавлять собственный код в запросы S3 GET, чтобы изменять и обрабатывать данные, возвращаемые в приложение. Вы сможете фильтровать строки, динамически изменять размер изображений, удалять конфиденциальные данные и многое другое. Ваш пользовательский код выполняет задачи по запросу, минимизирует потребность создавать и хранить производные копии ваших данных и не требует внесения каких-либо изменений в приложения.
Сервис облачного хранения с лучшей поддержкой
Храните и защищайте свои данные в Amazon S3, сотрудничая с партнером из AWS Partner Network (APN) – крупнейшего объединения поставщиков технологических и консультационных услуг для облачных сервисов. APN признает партнеров по миграции, которые переносят данные в Amazon S3, и партнеров по хранению, которые предлагают интегрированные с S3 решения по хранению данных, их резервному копированию и восстановлению, архивации и аварийному восстановлению. Также можно приобрести интегрированное с AWS решение непосредственно в AWS Marketplace, где представлено более 250 предложений для хранилищ.
Принцип работы функций S3
Вы можете добавлять собственный код к данным обработки, извлеченным из S3, перед тем как передавать их приложению
.4c44ce58a2df0aad0e3be25a31e24c56514aac1f.png)
С помощью функции S3 Object Lambda вы сможете добавлять собственный код в запросы S3 GET, чтобы изменять и обрабатывать данные, возвращаемые в приложение. Впервые вы сможете применить пользовательский код для изменения данных, возвращаемых стандартными запросами S3 GET, для фильтрования строк, динамического изменения размера изображений, удаления конфиденциальных данных и многого другого. Выполнение кодов на базе функций AWS Lambda осуществляется в инфраструктуре, полностью управляемой AWS, что дает возможность исключить необходимость создания и хранения производных копий данных или запуска дорогостоящих прокси, при этом без каких бы то ни было изменений в приложениях.
Чтобы начать настройку функции Lambda и прикрепить ее к точке доступа S3 Object Lambda, достаточно нескольких щелчков мышью в консоли управления AWS. С этого момента S3 будет автоматически вызывать функцию Lambda для обработки любых данных, полученных через точку доступа S3 Object Lambda, а приложение будет получать преобразованный результат. Вы сможете создавать и выполнять собственные пользовательские функции Lambda, адаптируя процесс преобразования данных S3 Object Lambda к требованиям конкретного случая.
Получите доступ к информации об использовании хранилища, тенденциях активности в масштабах организации и получите действенные рекомендации.
С помощью функции S3 Storage Lens пользователь может получить наглядное представление об использовании объектного хранилища, тенденциях активности в масштабах организации, а также практические рекомендации по повышению рентабельности и применению передовых методов защиты данных. S3 Storage Lens – это первый инструмент для аналитической обработки данных облачного хранилища, с помощью которого можно получить единое представление об использовании и активности объектного хранилища в сотнях или даже тысячах учетных записей организации, а также детальные данные для составления аналитических оценок на уровне учетной записи, сегмента или даже префикса. Функция S3 выполняет анализ количественных показателей в масштабах всей организации и предоставляет ситуативные рекомендации относительно снижения затрат на хранение и применения передовых методов защиты данных.
После активации функции S3 Storage Lens на консоли S3 вы получите доступ к интерактивной панели управления с предварительно настроенными областями визуализации информации об использовании хранилища и тенденций активности, а также ситуативными рекомендациями, которые помогут определиться с мерами. Также можно экспортировать показатели в формате CSV или Parquet в корзину S3. Доступны область просмотра сводных данных, область просмотра эффективности затрат и область просмотра защиты данных, в которых можно ознакомиться с необходимыми данными. Помимо панели инструментов консоли S3, вы можете экспортировать количественные показатели в формате CSV или Parquet в корзину S3 по своему выбору для дальнейшего использования.
Чтобы ознакомиться с более подробной информацией, перейдите на страницу S3 Storage Lens.
Оптимизация расходов на хранение благодаря использованию S3 Intelligent-Tiering
S3 Intelligent-Tiering оптимизирует объем хранилища, автоматически перемещая объекты между четырьмя уровнями доступа при изменении шаблонов доступа. Существует два уровня с низкой задержкой доступа: они оптимизированы для частого и нечастого доступа и позволяют сэкономить до 40 % расходов на хранение, а также два дополнительных уровня архивного доступа: они предназначены для асинхронного доступа и позволяют сэкономить до 95 % расходов на хранение объектов с редким доступом.
Объекты, загруженные или перемещенные на уровень S3 Intelligent-Tiering, автоматически сохраняются на уровне для частого доступа. S3 Intelligent-Tiering работает путем отслеживания сценариев доступа и последующего перемещения объектов, доступ к которым не осуществлялся в течение 30 дней подряд, на уровень нечастого доступа. После активации одного или обоих уровней доступа к архивным данным S3 Intelligent-Tiering перемещает объекты, доступ к которым не осуществлялся в течение 90 последовательных дней, на уровень Archive Access, а затем по истечении 180 последовательных дней – на уровень Deep Archive Access. Если после этого запрашивается доступ к этим перемещенным объектам, S3 Intelligent-Tiering перемещает их обратно на уровень для частого доступа.
За извлечение данных плата не взимается, а значит вы не столкнетесь с неожиданным повышением платежей при изменении схемы доступа. Подробнее об оптимизации затрат на хранение.
Без труда управляйте доступом к общим наборам данных с помощью S3 Access Points
Amazon S3 Access Points – это функция S3, которая упрощает управление доступом в любом масштабе для приложений, которые используют общие наборы данных в S3. Точки доступа – это уникальные названия узлов, которые клиенты создают для обеспечения различных разрешений и управления сетью, для любого запроса, сделанного через точку доступа.
Клиенты с общими наборами данных, включая озера данных, мультимедийные архивы и пользовательский контент, могут легко масштабировать доступ для сотен приложений, создавая индивидуальные точки доступа с названиями и разрешениями, настроенными для каждого приложения. Любую точку доступа можно ограничить для Virtual Private Cloud (VPC), чтобы защитить доступ к данным S3 в частных сетях клиентов, а политики управления сервисами AWS (SCP) можно использовать для проверки этих ограничений.
Чтобы ознакомиться с более подробной информацией, перейдите на страницу S3 Access Points.
Управляйте десятками или даже миллиардами объектов при любом масштабе с помощью S3 Batch Operations
S3 Batch Operations – это возможность управления данными Amazon S3, с помощью которой можно администрировать миллиарды объектов при любом масштабе несколькими щелчками мышью в консоли управления Amazon S3 или один запрос API.
Для работы в S3 Batch Operations нужно создать задание. Задание состоит из перечня объектов, действия, которое необходимо совершить, и набора параметров, задаваемых пользователем для операции этого типа. В S3 Batch Operations можно создать и выполнить множество заданий одновременно или же с помощью приоритетов настроить порядок заданий, чтобы самые важные операции выполнялись в первую очередь. Возможность S3 Batch Operations также управляет повторными попытками, отслеживает ход выполнения, уведомляет о завершении заданий, составляет отчеты и фиксирует события, соответствующие каждому совершенному изменению и выполненному заданию, в AWS CloudTrail.
Чтобы ознакомиться с более подробной информацией, перейдите на страницу S3 Batch Operations.
Заблокируйте публичный доступ к своим данным в S3 раз и навсегда
Блокирование публичного доступа в S3 обеспечивает контроль на уровне всего аккаунта AWS или на уровне отдельных корзин S3, гарантируя, что к соответствующим объектом не будет предоставлен публичный доступ ни в настоящем, ни в будущем.
Публичный доступ к корзинам и объектам предоставляется с помощью списков контроля доступа (ACL), политик использования корзин либо и того, и другого. Чтобы заблокировать публичный доступ ко всем своим корзинам и объектам S3, включите полное блокирование публичного доступа на уровне аккаунта. Эта настройка будет применена в пределах всего аккаунта для всех имеющихся и будущих корзин. Параметры блокирования публичного доступа в S3 переопределяют другие разрешения S3, которые допускают публичный доступ. Благодаря этому администратору аккаунта просто обеспечить применение политики запрета публичного доступа, независимо от существующих разрешений доступа, способа добавления объекта или создания корзины.
Помимо консоли S3 возможность блокирования публичного доступа к S3 можно включить с помощью интерфейса командной строки AWS, SDK или API REST. Подробнее об этих возможностях см. в документации по блокированию публичного доступа в S3.
Примеры использования
Резервное копирование и восстановление
Создавайте масштабируемые, надежные и безопасные решения для резервного копирования и восстановления с помощью Amazon S3 и других сервисов AWS, таких как S3 Glacier, Amazon EFS и Amazon EBS, чтобы расширить или полностью заменить имеющиеся локальные возможности. Партнеры APN и AWS могут помочь вам в выполнении нормативов по времени восстановления (RTO), точкам восстановления (RPO) и законодательных требований. С помощью AWS можно выполнять резервное копирование данных, которые уже находятся в облаке AWS, или использовать AWS Storage Gateway, сервис гибридного хранения, для отправки резервных копий локальных данных в AWS.
Аварийное восстановление (DR)
Защитите критически важные данные, приложения и информационные системы, работающие в облаке AWS или на ваших объектах, без расходов на физическое дублирование инфраструктуры. С помощью хранилищ Amazon S3, межрегиональной репликации S3 и других вычислительных и сетевых сервисов и баз данных AWS можно создавать архитектуру DR для быстрого и простого восстановления после сбоев, вызванных стихийными бедствиями, отказом систем и человеческими ошибками.
Архивирование
Откажитесь от физической инфраструктуры и архивируйте данные с помощью S3 Glacier и S3 Glacier Deep Archive. Эти классы хранилищ S3 позволяют хранить объекты долгое время по самым низким расценкам. Просто создайте политику жизненного цикла S3 для архивации объектов в течение их жизненного цикла либо загружайте объекты напрямую в хранилища архивных классов. С помощью S3 Object Lock можно задавать срок хранения объектов, чтобы защитить их от удаления и обеспечить соответствие требованиям законодательства. В отличие от ленточных библиотек, S3 позволяет восстановить архивные объекты всего за минуту при срочном извлечении и за 3–5 часов при стандартном извлечении. Восстановление больших объемов данных из S3 Glacier и все виды восстановления из S3 Glacier Deep Archive выполняются в течение 12 часов.
Анализ больших данных и озер данных
Ускоряйте инновации путем создания озера данных в Amazon S3 и получайте ценные сведения, используя запросы без извлечения данных, аналитику и инструменты машинного обучения. По мере увеличения озера данных S3 Access Points можно использовать для простой настройки доступа к данным с определенными разрешениями для каждого приложения или их набора. Можно также использовать AWS Lake Formation для быстрого создания озера данных и централизованного определения и применения политик безопасности, управления и аудита. Этот сервис собирает данные по всем вашим базам данных и ресурсам в S3, перемещает их в новое озеро данных в Amazon S3, очищает и классифицирует их с помощью алгоритмов машинного обучения. Все ресурсы AWS можно масштабировать для размещения растущих хранилищ данных, при этом не требуются предварительные вложения.
Гибридное облачное хранилище
Настройте частное подключение между Amazon S3 и локальной средой с помощью AWS PrivateLink. Вы можете распределять частные адреса в VPC для обеспечения прямого доступа к S3 из локальной среды с помощью частных IP-адресов из VPC. AWS Storage Gateway позволяет без особых усилий подключать локальные приложения к хранилищу AWS Storage, кешируя данные локально для доступа с низкой задержкой. Можно также автоматизировать перенос данных между локальным хранилищем (включая S3 on Outposts) и Amazon S3 с помощью инструмента AWS DataSync, который позволяет перемещать данные почти в 10 раз быстрее, чем инструменты с открытым исходным кодом. Кроме того, можно напрямую перемещать файлы в Amazon S3 и из данного сервиса при помощи AWS Transfer Family – полностью управляемого простого и эффективного сервиса, обеспечивающего безопасный обмен файлами с третьими лицами и компаниями с использованием протоколов SFTP, FTPS и FTP. Еще один способ реализовать гибридное облачное хранилище – сотрудничество с провайдерами шлюзов из APN.
Приложения с оптимизацией для облака
Разрабатывайте быстрые и эффективные мобильные и интернет‑приложения, используя сервисы AWS и Amazon S3, чтобы хранить данные для разработки и данные рабочей среды, которые совместно используются микросервисами, входящими в состав облачных приложений. Сервис Amazon S3 позволяет загружать любое количество данных, а затем получать к ним доступ из любого местоположения. Благодаря этому вы сможете быстрее развертывать приложения и привлекать новых пользователей. Хранение данных в Amazon S3 означает, что вы получаете доступ к последним инструментам, интерфейсу S3 API и сервисам AWS для разработчиков, которые позволяют использовать машинное обучение и аналитику для внедрения инноваций и оптимизации облачных приложений.
Источник: