目录
一、传统存储术语
二、传统存储与云存储的关系
为什么组织要迁移到云
提升组织敏捷性
提高创新能力
加强安全性
降低成本
运营支出与资本投资
付费比较
裸容量
格式化的容量
已分配的容量
实际数据容量
AWS 存储服务的容量选项
AWS 云中的容量开销
三、云存储之AWS
使用场景
文件存储
数据块存储
对象存储
核心 AWS 存储服务
边缘和混合云存储服务
边缘-本地计算和存储
混合-本地云存储
混合-本地部署网关
数据传输和迁移服务
文件传输服务
数据同步和在线传输服务
离线数据传输和迁移服务
迁移服务
AWS 数据传输和迁移服务
数据保护服务
备份与归档
快照
复制
灾难恢复服务
编辑
AWS 存储服务产品组合
EBS、EFS、S3对比
EBS块存储
S3对象存储
S3 使用案例
S3 存储类
EFS文件存储
一、传统存储术语
分类
接口/技术类型
应用场景特点
关系及区别
机械硬盘接口
IDE(Integrated Drive Electronics)
早期用于个人电脑,现已逐渐淘汰
机械硬盘接口、固态硬盘接口是硬盘与主机或其他设备连接的物理和协议规范;
FC - SAN、IP - SAN是存储区域网络技术;NFS是文件共享协议;NAS是一种存储设备及技术架构。
机械硬盘和固态硬盘接口用于硬盘设备本身接入系统;FC - SAN、IP - SAN构建存储网络,提供块级存储访问;NFS常用于NAS设备实现文件共享访问。
SATA(Serial Advanced Technology Attachment)
家用和普通办公场景广泛应用,成本低,传输速度适中
SAS(Serial Attached SCSI)
企业级服务器、存储阵列常用,支持多设备连接,性能和可靠性高
SCSI(Small Computer System Interface)
中高端服务器、工作站使用,性能好但成本较高
FC(Fibre Channel)
高端存储区域网络(SAN)应用,传输速度快、低延迟、可靠性高
固态硬盘接口
M.2(曾称NGFF,Next Generation Form Factor)
家用领域应用广,体积小,传输速度快,分多种协议类型
U.2(SFF - 8639,接口规范名称)
适用于企业级应用,支持高速数据传输和热插拔
SATA(Serial Advanced Technology Attachment)
家用和部分企业场景仍在使用,兼容性好
mSATA(mini - Serial Advanced Technology Attachment)
曾用于小型设备如超极本,逐渐被M.2取代
SAS(Serial Attached SCSI)
企业级存储常用,满足高性能、高可靠性需求
PCIE(Peripheral Component Interconnect Express)
可提供极高的数据传输带宽,常用于高端应用
存储区域网络架构
SAN(Storage Area Network)
一种高速网络,提供块级数据存储,分为 FC - SAN(基于光纤通道)和 IP - SAN(基于 IP 网络)
存储网络技术
FC - SAN(Fibre Channel Storage Area Network)
基于光纤通道技术,构建高速、稳定的存储区域网络,适合企业关键业务
IP - SAN(IP Storage Area Network)
基于IP网络,利用iSCSI协议,成本较低,部署灵活,适用于对成本敏感且对性能要求不是极致的企业
文件共享协议
NFS(Network File System)
常用于Unix/Linux系统环境下实现文件共享,方便不同主机间访问共享文件
存储设备及技术
NAS(Network - Attached Storage)
通过网络提供文件级存储服务,适合中小企业、家庭等对文件共享和数据存储有需求的场景,可使用NFS等协议实现文件共享
二、传统存储与云存储的关系
为什么组织要迁移到云
将存储工作负载迁移到云一直是首席信息官 (CIO) 解决其首要战略优先事项的主要方式之一:
要了解更多信息,请选择主题旁边的 + 符号。
提升组织敏捷性
–
本地存储敏捷性挑战
更改本地存储基础设施需要资源。资源包括时间、人员、数据中心空间和基础设施,以及固定和可变成本。在实施更改之前,需要进行容量规划、资源规划和预算编制。因此,实施更改的时间可能会从数周延迟到数月甚至数年。
即使获得批准之后,订购、接收和安装新系统或为现有系统增加容量也可能需要数周或数月的时间。许多组织提供预置存储容量来应对实施和预算延迟。未使用的容量在等待使用的过程中会消耗空间和昂贵的资源。
本地存储基础设施缺少随着组织需求的变化而快速缩减或更改环境的选项。存储到位后,无论其使用情况如何,它通常都会保留在原位。几乎不太可能实现将存储容量从一个存储孤岛或系统重新分配到另一个孤岛或系统。大多数存储系统不具备跨系统集成所需的兼容性。
AWS 中的存储敏捷性
AWS 存储服务提供的解决方案可解决本地存储敏捷性挑战。使用 AWS 存储服务时,您可以快速更改现有存储服务或实施新的存储服务。
AWS 会为您管理所需的资源。您不需要分配时间、实施和管理人员、数据中心空间和基础设施,也不需要使用固定和可变成本来更改存储基础设施。您可以管理使用预置存储服务的方式。您可以在需要时访问几乎无限的存储容量。您可以按需添加存储容量,而不会过度预置容量。您可以随时减少容量或停止使用存储服务。您对存储服务的使用不受物理系统的限制。借助 AWS 服务,您可以根据需要在不同的存储孤岛或系统之间移动数据。将数据复制到其他服务后,可以删除源服务,也可以从服务中删除数据以节省资金。
提高创新能力
–
要进行创新,您必须能够按需开发和测试新的工作流。例如,测试和开发环境必须能够灵活地尝试不同的设计和工作流,然后根据需要进行更改。您必须经常扩展开发环境以进行测试。另外,您还必须能够在测试完成后放弃环境,或者在不再需要时放弃任何临时环境。
要对本地存储系统进行创新,您需要购买新系统或使用现有系统上未使用的容量。购买新系统需要时间和资源。使用现有系统可能会在可用容量或拥有所需正确资源类型方面面临挑战。
在使用本地存储系统时,数据通常位于独立的存储系统中,这些存储系统会生成互不相接的孤岛。这种分离使得访问系统以执行分析或跨系统使用机器学习变得困难。
借助 AWS 存储,您可以在一项服务上开始开发,并使用不同的服务进行试验,以满足您的工作流要求。您可以根据需要增加或减少开发和测试环境的容量。使用 AWS 存储服务为您带来一个灵活的创新环境。
加强安全性
–
本地存储和网络基础设施通常无法对外部或内部访问保持统一的安全性。安全问题包括:
对存储系统的物理安全访问对静态数据和传输中的数据进行一致的加密适当的用户、组和角色访问控制外部网络攻击或系统黑客攻击
组织可以通过消除数据孤岛和改进加密控制而获得见解,从而改善其安全态势。使用 AWS 时,您获得了为最具安全意识的组织设计的所有控制、工具、最佳实践和认证。
云提供商确保云基础设施的安全,并将基础设施与客户应用程序分离。这样做的好处是您不再需要担心基础设施的安全性。
降低成本
–
使用云存储,您不必购买硬件、预置存储或为应对不时之需而耗费资金。您可以根据需要添加或删除容量、快速改变性能和保留特征,并仅为您实际使用的存储付费。您可以根据可审计的规则将访问频率较低的数据自动移动到成本较低的层。这种灵活性推动了规模经济。
运营支出与资本投资
–
迁移到云的一个好处是将费用从固定或可变成本转变到持续成本。云服务按月收费,因此不需要预先支付系统和软件费用,再等待这些费用随时间的推移而产生价值。这样可缩短预算编制和订购履行周期,并在费用发生时清楚地了解费用。
云存储通常从拥有和运营数据存储容量且以随用随付模式通过互联网交付的第三方云供应商处购买。这些云存储供应商管理容量、安全性和持久性,使您的应用程序可以在世界各地访问数据。
应用程序通过传统存储协议或直接通过 API 访问云存储。许多供应商提供补充服务,旨在帮助大规模收集、管理、保护和分析数据。
云存储是一个可靠、可扩展且安全的数据存放位置。AWS 提供一整套服务,供您存储、访问、监管和分析数据,从而降低成本、提高敏捷性并加快创新。您不必对本地存储执行一对一替换(也称为直接迁移)。相反,您可以根据应用程序的需求,为存储更换平台或重新构建存储,以优化成本、可管理性和性能。
付费比较
当您为现有系统购买新的本地存储系统或额外的存储容量时,您购买的是系统的总裸容量。然后,您需要满足系统要求并维持总容量。
借助 AWS 存储,您可以根据需要添加新的存储服务或扩展现有服务,以满足您的要求。AWS 在其数据中心托管和维护底层系统。
您可以使用一般示例比较本地存储容量和 AWS 存储服务容量之间的选项。本课程的剩余部分为每个 AWS 存储服务提供更多详细信息。
本地存储容量
购买本地存储时,您可以从存储数据和满足增长和性能开销所需的容量倒推计算。您购买为满足您的要求和预期容量增长所需的总裸容量。由于存在某些变数,您需要做出前瞻性假设来估计您的需求。
在此示例中,应用了几个广泛的假设来计算出要获取多少存储容量。对于每个本地系统,在现实生活中应用的计算都是不同的。 根据制造商的不同,计算可能会有很大差异。此示例的要点是要考虑哪些方面会导致可用容量减少但您需要在裸容量中为之付费。
裸容量
以本地存储为例,您购买 1PB 的原始存储容量。裸存储容量。这是您为之付费的容量,会用于计算运营成本和数据中心要求。
净可用容量因制造商和个别系统而异。
格式化的容量
每个存储系统的容量都会因硬件故障保护开销、驱动器格式化和操作系统开销而减少。具体数量取决于在系统上如何实现这些功能。在本例中,这会将容量减少 20%,降低到 800TB。
硬件故障保护开销 – 通常称为独立磁盘的硬件或软件冗余阵列 (RAID)。主要目的是在硬件或驱动器出现故障时通过为数据创建校验和保护来保护数据。根据保护级别的不同,这可能会产生 15% - 50% 的开销。例如,RAID 1(驱动器镜像)会创建镜像驱动器对(50% 的开销)。RAID 6 使用两个驱动器的空间来存储校验和(15%–25% 的开销)。您可以应用其他保护方案。但每个系统都包括了硬件故障保护。格式化和操作系统开销 – 驱动器容量通常以未格式化的容量表示。当操作系统进行格式化时,驱动器大小会减少 1%–5%。然后将操作系统添加到系统中,这进一步减少了可用容量。
已分配的容量
当考虑到数据保护服务(例如,快照)以及为性能开销增加的空间时,可用容量进一步减少。在本例中,这将额外减少 200TB 到 600TB 的已分配容量。
快照可能会消耗比实际数据更多的空间。快照帮助您防止数据损坏和意外删除。为了提高操作效率和性能,系统需要额外的空间来承担操作开销,特别是对于写操作。
实际数据容量
您预估至少需要 400TB 的实际数据容量。在实际的 400TB 数据容量之外再分配额外 200TB 容量,用于数据和快照增长。
AWS 存储服务的容量选项
AWS 为存储容量使用两种模式:已使用的存储和已分配的容量。您选择的核心存储服务决定了使用的方法。根据您使用容量的时间对容量计费。
计费增量小至每秒使用量。除了容量计费之外,使用服务还可能产生额外的服务费。本课程稍后部分将讨论不同的计费组件。
某些服务 [例如 Amazon Simple Storage Service (Amazon S3)] 基于使用的存储容量来计费。您只需为使用的存储容量付费。
其他服务 [例如, Amazon Elastic Block Store (Amazon EBS)] 基于分配的存储容量来计费。例如,当您创建 20GB 的数据块存储时,将分配 20GB 的容量以供使用。使用分配的容量时,您需要为分配的空间量付费,而不是为存储的数据量付费。
借助 Amazon Elastic File System (Amazon EFS),您可以选择使用默认设置,按已使用存储计费,或按已预置存储计费。选择选项以满足您的使用案例和应用程序性能要求。
AWS 云中的容量开销
在 AWS 中,考虑以下因素,您仍然需要预置更多空间:
格式化文件系统硬件故障保护数据保护操作系统开销
但是,AWS 会承担和管理额外的容量需求。AWS 在确定存储服务的定价时会考虑系统和维护开销。 借助 AWS 存储服务,您可以专注于您的业务,而 AWS 则负责系统和维护。
三、云存储之AWS
无论在本地还是在云环境中,都有三种主要存储类型:数据块、文件和对象。不同的存储硬件制造商和云服务提供商以不同的方式实现这些存储类型。但是,无论存储类型位于何处、硬件制造商是谁或服务提供商是谁,每种存储类型的基本原理都基本相同。具体特性和功能因制造商或服务提供商实现存储的方式而异。
使用场景
文件存储
文件存储 建立在数据块存储之上,通常用作文件共享或文件服务器。通过对数据块存储设备的数据读写进行格式化和管理的操作系统来创建文件存储。使用文件存储 这个名称是因为它主要用于在目录树层次结构中以文件形式存储数据。
文件存储最常见的两种存储协议是服务器消息块 (SMB) 和网络文件系统 (NFS)。您可以使用网络协议与远程计算机和服务器进行通信。您还可以使用服务器资源或共享、打开和编辑文件。
操作系统管理存储协议和文件系统的操作。文件系统可以是 Windows Server、Linux 或网络附属存储 (NAS) 设备或集群化 NAS 系统上使用的专用操作系统。
有些应用程序需要访问共享文件,并且需要一个文件系统。网络附属存储 (NAS) 服务器通常支持这种类型的存储。文件存储解决方案非常适合大型内容存储库、开发环境、媒体存储或用户主目录等使用案例。
AWS 目前使用五种不同的服务提供文件存储。这些服务分为两类,Amazon 自己的云原生文件存储和 Amazon FSx 文件存储产品。FSx 表示“文件系统 X”。这些产品/服务使用适合本地解决方案的常用文件系统实现托管文件存储。
您还可以选择使用已附加 Amazon EBS 卷的 Amazon EC2 实例创建自管理的文件共享。
每个文件服务都提供不同的功能集来满足您的要求。
Amazon Elastic File System (Amazon EFS) 是使用 NFS 访问协议的多可用区文件存储服务。Amazon FSx for Lustre 使用 Lustre 文件系统构建,专为高性能计算 (HPC) 和机器学习 (ML) 工作负载而设计。FSx for Lustre 使用 Lustre 客户端上符合 POSIX 标准的访问协议。Amazon FSx for Windows File Server 使用 Windows File Server 构建。访问协议为服务器消息数据块 (SMB),专为您的 Microsoft 应用程序和 Windows 工作负载而设计。Amazon FSx for NetApp ONTAP 使用 NetApp ONTAP 操作系统构建,旨在同时提供 NetApp 数据块存储和文件存储。数据块存储的访问协议为 iSCSI,文件存储的访问协议为 NFS 和 SMB。Amazon FSx for OpenZFS 完全托管式文件存储基于 OpenZFS 文件系统而构建。借助 Amazon FSx for OpenZFS,您可以轻松地将本地 OpenZFS 存储迁移到 AWS。您现在可以在 AWS 云中使用相同的访问协议。
数据块存储
数据块存储 是原始存储,其中硬件存储设备或驱动器是格式化并连接到计算系统以供使用的磁盘或卷。在存储设备上将存储格式化为预定义的连续段。这些段称为数据块。数据块是用于在设备上存储数据的基本固定存储单元。
存储设备可以是硬盘驱动器 (HDD)、固态硬盘 (SSD) 或较新型的存储设备,例如非易失性高速内存 (NVMe)。除了单个存储设备之外,您还可以在存储区域网络 (SAN) 系统上部署数据块存储。
存储设备由操作系统或具有直接管理数据块存储功能的应用程序使用。对于应用程序管理数据块存储的情况,应用程序通常与操作系统共享管理。
某些企业应用(例如数据库或 ERP 系统)通常需要为每个主机提供专用的低延迟存储。这种存储与直接连接存储 (DAS) 或存储区域网络 (SAN) 类似。基于数据块的云存储解决方案随每个虚拟服务器一起预置,并提供高性能工作负载所需的超低延迟。
Amazon Elastic Block Store (Amazon EBS) 用于附加到 Amazon Elastic Compute Cloud (Amazon EC2) 实例。与本地块存储一样,操作系统或应用程序管理存储访问。Amazon EBS 提供不同的选项,以满足您组织的使用案例要求。
对象存储
对象存储 也建立在数据块存储之上。通过对数据块存储设备的数据读写进行格式化和管理的操作系统来创建对象存储。使用对象存储这个名称是因为它主要用于在二进制对象内存储数据。与文件存储不一样,对象存储不区分数据的类型。数据类型或文件类型成为数据元数据的一部分。
对象由一组数据块组成,这些数据块使用预定义大小进行组织。例如,一个对象存储系统使用 128MB 的二进制对象大小。较小的文件或数据以二进制形式存储在单个对象中。较大的数据文件将分散存储在多个对象中。
通过其文件对象的固有可用性来识别对象存储。一些系统支持文件版本控制、文件跟踪和文件保留。
在云中开发的应用程序通常会利用对象存储的高度可扩展性和元数据特性。对象存储解决方案非常适合从一开始就构建需要可扩展性和灵活性的现代应用程序。该解决方案还非常适合导入现有数据存储以进行分析、备份或归档。
Amazon Simple Storage Service (Amazon S3) 是 AWS 云中的对象存储。Amazon S3 提供了不同的存储类或层,以满足您的价格、访问和可用性要求。例如,Amazon S3 Glacier 用于以较低的每 GB 成本进行归档存储。
AWS 使用 Amazon S3 作为经济高效的存储,用于存储在其他核心存储服务(例如 Amazon EBS 和 Amazon EFS)中存储的数据的快照和备份。
核心 AWS 存储服务
边缘和混合云存储服务
AWS 提供的服务旨在提供边缘和混合云解决方案。适用于远程或无连接的位置的边缘计算和存储解决方案,以及用于将您的本地基础设施连接到 AWS 云中的存储服务的混合解决方案。
边缘-本地计算和存储
借助边缘站点计算和存储服务,即使与 AWS 云断开连接,您也可以使用计算资源和存储服务。它们还提供一个数据传输平台,用于将数据复制到 AWS 云和从 AWS 云复制数据。您可以通过以下方法传输数据:将设备运送到 AWS 进行导入或将设备用作远程数据同步客户端。
边缘站点设备包括产品的 AWS Snow Family:AWS Snowball 设备、AWS Snowcone 设备和 AWS Snowmobile 服务。
AWS Snowball 是边缘计算、数据迁移和边缘存储设备。您可以将这些设备用于以下目的:
数据收集机器学习和处理连接断续的环境或远程无连接的位置中的存储 Snowball Edge 有两种选择:Storage Optimized 可提供最高的存储容量,Compute Optimized 存储容量较低,但提供更多 vCPU。AWS Snowcone 是 AWS Snow Family 边缘计算、边缘存储和数据传输设备中最小的成员,重量为 4.5 磅(2.1 千克)。Snowcone 坚固而安全,专为在传统数据中心之外使用而构建。AWS Snowmobile 是一种 EB 级数据传输服务,用于将大量数据移动到 AWS。Snowmobile 是一种 45 英尺长的加固型运输集装箱,由半挂车卡车拉动,每个 Snowmobile 可以传输高达 100PB 的流量。Snowmobile 可以很容易地将大量数据迁移到云中,包括视频库、图像存储库,或甚至是整个数据中心迁移。
混合-本地云存储
本地云存储作为 AWS Outposts 实施的一部分提供,包括 Amazon EBS 和 Amazon S3 存储服务。
AWS Outposts 是一项完全托管式服务,可在几乎任何数据中心、托管机房或本地设施提供相同的 AWS 基础设施、AWS 服务、API 和工具。这些功能提供一致的混合体验。AWS Outposts 非常适合以下方面:
需要低延迟地访问本地系统、本地数据处理和数据驻留的工作负载迁移具有本地系统相互依赖关系的应用程序
AWS 计算、存储、数据库以及在 Outposts 本地运行的其他服务。您可以访问区域中提供的全部 AWS 服务,以使用熟悉的 AWS 服务和工具构建、管理和扩展您的本地应用程序。
混合-本地部署网关
AWS Storage Gateway 使用软件设备与基于云的存储连接本地用户和应用程序。使用它可实现组织的本地 IT 环境与 AWS 存储基础设施之间的集成。对于关键的混合云存储使用案例,可以使用 Storage Gateway 来简化存储管理和降低成本。
使用案例包括:
将备份移动到云中 使用由云存储支持的本地文件共享为本地应用程序提供对 AWS 中数据的低延迟访问。本地缓存可减少读取和写入活动的网络延迟。
Storage Gateway 提供四种不同类型的网关:Amazon S3 File Gateway、Amazon FSx File Gateway、Volume Gateway 和 Tape Gateway。
Amazon S3 File Gateway 提供了一种无缝的方式来连接到云,以将应用程序数据文件和备份映像作为持久对象存储在 Amazon S3 中。Amazon S3 File Gateway 通过本地缓存对 Amazon S3 中数据提供基于 SMB 或 NFS 的访问。Amazon FSx File Gateway 优化了对 Amazon FSx for Windows File Server 中完全托管、高度可靠的文件共享的本地访问。具有非结构化数据或文件数据(无论是来自基于 SMB 的组共享还是业务应用程序)的客户可能需要本地访问才能满足低延迟要求。Volume Gateway 向本地应用程序提供依托于云的 iSCSI 数据块存储卷,代表您在 Amazon S3 中存储和管理本地数据,并在缓存模式或存储模式下运行。Tape Gateway 用于将本地的物理磁带替换为 AWS 中的虚拟磁带,而无需更改现有的备份工作流。Tape Gateway 支持所有领先的备份应用程序,并在本地缓存虚拟磁带,以实现低延迟数据访问。
数据传输和迁移服务
数据传输服务旨在将您的本地数据复制或传输到 AWS 云中的核心 AWS 存储服务或从中复制或传输数据。
文件传输服务
AWS Transfer Family 为直接传入和传出 Amazon S3 或 Amazon EFS 的文件提供完全托管的支持。AWS Transfer Family 包括对安全文件传输协议 (SFTP)、基于 SSL 的文件传输协议 (FTPS) 和文件传输协议 (FTP) 的支持。
AWS Transfer Family 通过执行以下操作,帮助您将文件传输工作流迁移到 AWS,这样您或您的应用程序就不会有任何变化:
与指定的身份验证系统集成使用 Amazon Route 53 提供 DNS 路由
数据同步和在线传输服务
AWS DataSync 是一项在线数据传输服务,可简化、自动执行和加快本地存储系统和 AWS 存储服务之间以及 AWS 存储服务之间的数据移动。您可以使用 DataSync 执行以下操作:
将活动数据集迁移到 AWS归档数据以释放本地存储容量将数据复制到 AWS 以实现业务连续性将数据传输到云进行分析和处理
DataSync 可以在以下资源或服务之间复制数据:
网络文件系统 (NFS) 共享SMB 共享自管理的对象存储AWS SnowconeAmazon S3 存储桶Amazon EFS 文件系统Amazon FSx for Windows File Server 文件系统
离线数据传输和迁移服务
使用 AWS Snow Family 设备执行离线数据传输。AWS Snow Family 帮助需要在严峻的非数据中心环境以及缺乏一致网络连接的位置运行操作的客户。
Snow Family 包括 AWS Snowcone、AWS Snowball 和 AWS Snowmobile,提供多个物理设备和容量规格,大多数都具有内置计算功能。这些服务有助于以物理方式将高达 EB 级的数据传入和传出 AWS。
AWS 拥有并管理 Snow Family 设备。这些设备集成了 AWS 安全性、监控、存储管理和计算功能。
迁移服务
包括 CloudEndure Migration 在内的 AWS Application Migration Service (AWS MGN) 是高度自动化的直接迁移(重新托管)解决方案。AWS MGN 简化、加快将应用程序迁移到 AWS 云、AWS GovCloud(美国)和 AWS Outpost 并降低其成本。
您可以使用 AWS MGN 或直接使用 CloudEndure Migration 来快速直接迁移物理、虚拟或云服务器,而不会出现兼容性问题、性能影响或较长的割接窗口。AWS MGN 会持续将您的源服务器复制到您的 AWS 账户。当您准备好迁移时,它会自动在 AWS 上转换和启动您的服务器。
AWS 数据传输和迁移服务
数据保护服务
数据保护服务提供可选服务,以满足您的数据冗余和灾难需求。有些服务是独立的服务选项,而有些服务则集成到核心存储服务中。
备份与归档
使用 AWS Backup,您可以集中管理和自动执行各种 AWS 服务的数据保护。AWS Backup 提供一项经济高效、基于策略的完全托管式服务来进一步简化大规模数据保护。AWS Backup 还可帮助您满足有关数据保护的监管合规要求或业务政策要求。
将 AWS Organizations 与 AWS Backup 结合使用时,您可以集中部署数据保护策略。集中部署策略,以便配置、管理和治理公司的各个 AWS 账户和资源的备份活动。资源包括以下项:
Amazon EC2 实例Amazon EBS 卷Amazon RDS 数据库(包括 Amazon Aurora 集群)Amazon DynamoDB 表Amazon Neptune 数据库Amazon DocumentDB(兼容 MongoDB)数据库Amazon EFSAmazon FSx for LustreAmazon FSx for Windows File ServerAWS Storage Gateway 卷Amazon Simple Storage Service (Amazon S3) 存储桶本地和 VMware CloudTM on AWS 中的 VMware 工作负载
快照
大多数核心服务都内置了原生快照服务。快照创建数据的备份副本。快照作为托管服务的一部分存储在 Amazon S3 的受保护位置。在 Amazon S3 上存储快照可通过 99.9999999999%(11 个 9)的持久性保护您的数据,并为您提供区域访问和可用性。
快照是数据的增量副本,这意味着只有在创建最近一个快照后更改的数据才会保存在下一个增量快照中。增量快照可减少创建快照所需的时间。这些增量快照不会复制以前保存的数据,从而可以节省存储成本。每个快照包含还原数据所需的该时间点的所有信息。
复制
存储复制是一些核心存储服务的可用内置功能。复制的实现方式因服务而异。复制通过创建额外副本来提高可用性并保护您的数据。复制可以在 AWS 区域内的可用区之间进行,也可以在 AWS 区域之间进行。
灾难恢复服务
CloudEndure Disaster Recovery 服务为本地服务器和应用程序提供经济高效的灾难恢复选项。
CloudEndure Disaster Recovery 会将您的计算机持续复制到目标 AWS 账户和首选区域中的低成本暂存区域。复制还包括操作系统、系统状态配置、数据库、应用程序和文件。在发生灾难时,您可以指示 CloudEndure Disaster Recovery 在几分钟内自动启动数千台处于完全预置状态的计算机。
CloudEndure Disaster Recovery 可将物理、虚拟和基于云的服务器快速、可靠地恢复到 AWS 云(包括 AWS 区域、AWS GovCloud(美国)和 AWS Outposts),从而更大限度地减少停机时间和数据丢失。
AWS 存储服务产品组合
四、确定云中的适合存储解决方案
系统的最佳存储解决方案因以下因素而异:
访问方法的类型(数据块、文件或对象)访问模式(随机或顺序)所需吞吐量访问频率(在线、离线、归档)更新频率(WORM、动态)可用性和持久性限制
AWS Well-Architected 系统使用多种存储解决方案,并启用不同的功能来提高性能和有效利用资源。
有关 AWS Well-Architected 系统的更多信息,请参阅 AWS 网站上的 (opens in a new tab)AWS Well-Architected(opens in a new tab) 页面。
存储特征和要求
您必须了解应用程序或工作流的不同特征,以便选择最适合您的工作负载的服务。示例特征包括可共享、文件大小、缓存大小、访问模式、延迟、吞吐量和数据持久性。这些特征可以引导您找到最佳存储解决方案,例如数据块存储、文件存储或对象存储。
要优化存储,第一步是了解每个工作负载的性能概要。执行性能分析以测量每秒输入/输出操作数 (IOPS)、吞吐量和其他变量。定义存储性能要求。确定工作负载最重要的存储性能指标。用这些指标来设定界限。使用基准测试或负载测试,作为数据驱动方法的一部分实施改进策略。使用此数据来确定存储解决方案的位置或可能受到限制的位置。检查存储和配置选项以改进解决方案。
针对不同的存储场景对 AWS 存储服务进行优化。没有哪一种数据存储选择会适合所有工作负载。评估存储要求时,请分别考虑每个工作负载的数据存储选项。
确定工作负载的预期增长率,并选择满足这些增长率的存储解决方案。Amazon S3 和 Amazon Elastic file System 等对象和文件存储解决方案支持无限存储。
帮助确定存储要求的问题
以下问题可帮助您对每个工作负载中的数据进行细分,并确定您的存储要求:
您需要多久访问一次数据以及您需要多快的访问速度?AWS 提供适合经常访问、访问频率较低和不经常访问数据的存储选项和定价套餐。
您的数据存储需要高 IOPS 或高吞吐量吗?AWS 提供针对性能和吞吐量进行优化的存储类别。了解 IOPS 和吞吐量要求将帮助您预置适当的存储量并避免多付费用。
需要哪些存储访问协议?现存应用程序通常基于特定的操作系统而开发。操作系统会影响访问协议。例如,需要文件系统访问权限的基于 Linux 的应用程序通常需要 NFS 协议。基于 Windows 的应用程序需要 SMB 协议。
您的数据有多重要(持久)?关键数据或受监管的数据需要不惜一切代价保留,而且往往需要存储很长时间。
您的数据有多敏感?必须保护高度敏感的数据免受意外和恶意更改的影响,而不仅仅是防止数据丢失或损坏。耐久性、成本和安全性同样重要。
您的数据集有多大?了解数据集的总大小有助于估计存储容量和成本。
您的数据的瞬态程度如何?瞬态数据的生存期很短,通常不需要高持久性。(注意:持久性是指平均每年预期数据丢失。)点击流和 Twitter 数据是瞬态数据的好例子。
您准备支付多少费用来存储数据?为数据存储设定预算可以帮助您作出存储选择。
评估可用的配置选项
评估各种特征和配置选项以及它们与存储的关系。了解在何处以及如何使用以下元素来优化工作负载的存储空间和性能:
预置 IOPS固态硬盘 (SSD)硬盘驱动器 (HDD)对象存储归档存储短暂(临时)存储
确定存储特征
在评估存储解决方案时,请确定可用的存储特征,例如以下特征:
能够共享存储理想文件大小和最大文件大小存储高速缓存大小平均或预期延迟最大吞吐量最大 IOPS数据持久性
然后,将您的要求与最适合您需求的 AWS 服务相匹配。
根据访问模式和指标作出决策
根据工作负载的访问模式选择存储系统。通过确定工作负载访问数据的方式来配置存储系统。有时,您可以通过选择另一种存储类型来提高存储效率或增加性能指标。配置所选的存储选项以匹配数据访问模式。
优化您的存储使用和访问模式 – 根据工作负载的访问模式和可用存储选项的特征选择存储系统。确定存储数据的最佳位置,以便在满足要求的同时减少开销。在根据存储特征(例如,条带化卷或分区数据)配置数据和与数据交互时,请使用性能优化和访问模式。为存储选项选择适当的指标 – 确保为工作负载选择适当的存储指标。每个存储选项提供各种指标来跟踪工作负载随时间推移的表现。确保针对指示峰值性能和趋势的任何存储指标进行衡量。对于大小固定的存储系统,例如 Amazon Elastic Block Store (Amazon EBS) 或 Amazon FSx,请确保针对整体存储量监控已使用存储量。在可能的情况下创建自动化,以便在达到阈值时增加存储大小。监测指标 – Amazon CloudWatch 可以收集架构中的各种资源的指标。您还可以收集和发布自定义指标以显示业务指标或派生指标。使用 CloudWatch 或第三方解决方案设置告警,显示何时超出阈值。
有关额外信息,请参阅 AWS Well-Architected Framework 中的 存储架构选择(opens in a new tab)。
数据块存储:Amazon EBS
AWS 数据块存储产品组合包括两种类型的数据块存储服务:Amazon Elastic Compute Cloud (Amazon EC2) 实例存储和 Amazon Elastic Block Store (Amazon EBS)。Amazon EBS 还包括集成的快照服务。Amazon EBS 是主数据块存储服务。
Amazon FSx for NetApp ONTAP 还提供基于 iSCSI 访问协议的数据块存储服务。这些数据块服务使用 NetApp 的应用程序编程接口 (API) 调用和管理接口。对于寻求集成 NetApp 方法的客户,数据块存储可作为 Amazon FSx 服务的一部分提供。
Amazon EC2 实例存储
实例存储为实例提供短暂(临时)数据块级存储。此存储位于物理上连接到计算实例所在的主机计算机的磁盘上。实例存储与初始配置选项中的 Amazon EBS 存储类似。但它们的架构与直接连接的磁盘驱动器最为相似。实例存储在 EC2 实例和存储之间提供亚毫秒级延迟。
只有特定的 Amazon EC2 实例类型支持实例存储。可用的存储类型直接与 EC2 实例类型相关联。实例存储由一个或多个作为数据块设备公开的实例存储卷组成。实例存储的大小和可用设备的数量因实例类型而异。
实例存储非常适合以下使用案例:
信息会经常更改的临时存储,例如缓冲区、高速缓存、临时数据和其他临时内容跨一系列实例(例如 Web 服务器的负载均衡池)复制的数据
对于大多数数据块存储工作负载,不建议使用实例存储。
作为短暂存储,实例存储不会复制或分布在多个设备中,以提高持久性和可用性。实例存储是非持久性存储,并且在关联的 EC2 实例终止时终止。
实例存储生命周期
实例存储中的数据仅在其关联的 EC2 实例的生命周期内保留。如果实例重新启动(有意或无意),实例存储中的数据会保留。但在以下任何一种情况下,实例存储中的数据会丢失:
底层磁盘驱动器出现故障
实例停止
实例休眠
实例终止
因此,不要依赖于实例存储来存放有价值的长期数据。相反,请使用更持久的数据存储(例如 Amazon EBS)来满足您的数据块存储要求。
Amazon EBS 概述
Amazon EBS 是一项易于使用、高性能的数据块存储服务。它旨在与 Amazon EC2 计算实例一起用于任何规模的吞吐量和事务密集型工作负载。
对于必须快速访问并需要长期持久化的数据,AWS 推荐使用 Amazon EBS。EBS 卷非常适合用作文件系统、数据库或任何需要细粒度更新和访问原始、未格式化的数据块级存储的应用程序的主存储。Amazon EBS 非常适合依赖于随机读取和写入的数据库式应用程序,以及执行长时间顺序读取和写入的吞吐量密集型应用程序。
EBS 卷的行为类似于原始、未格式化的数据块设备。您可以将这些数据块设备作为 EBS 卷附加到 EC2 实例上。附加到 EC2 实例的 EBS 卷显示为原始数据块存储卷,这些卷独立于实例的生命周期而持久存在。您可以在这些卷之上创建文件系统,也可以按照使用数据块设备(例如,硬盘驱动器)的任何方式使用它们。您可以动态更改附加到 EC2 实例的卷的配置,这与固定大小的传统磁盘驱动器不同。
您可以选择不同的 EBS 卷类型,以便在最佳的价格和性能之间找到平衡。对于 SAP HANA 等高性能数据库工作负载,您可以实现几毫秒级延迟,对于 Apache Hadoop 等大型顺序工作负载,您可以实现每秒千兆字节的吞吐量。您可以在不影响关键应用程序的情况下更改 EBS 卷类型、调优性能或增加卷大小。当您需要数据块存储时,Amazon EBS 为您提供经济高效的数据块存储。
EBS 卷专为任务关键型系统而设计,可在 AWS 可用区内复制,并可扩展以存储 PB 级数据。此外,您还可以将 EBS 快照与自动生命周期策略结合使用,以将您的卷备份到 Amazon Simple Storage Service (Amazon S3) 中。您可以在确保数据的地理保护和业务连续性的同时执行此操作。
使用 Amazon EBS 时,您只需为预置的存储和资源付费。
Amazon EBS 功能
单可用区
您可以在特定可用区中创建 EBS 卷,然后将其附加到同一可用区中的 EC2 实例。由于 Amazon EBS 卷与 Amazon EC2 实例地理邻近,可为您的工作负载提供低延迟和高性能的数据块存储。
要使卷在可用区之外可用,您可以创建快照并将该快照还原到同一 AWS 区域中任意位置的新卷。您还可以将快照复制到其他 AWS 区域,然后将其还原到该区域的新卷。借助快照,可以更轻松地使用多个 AWS 区域进行跨地理区域扩展、数据中心迁移和灾难恢复。
持久
默认情况下,Amazon EBS 卷非常持久。即使 EC2 实例已终止,EBS 卷也会继续存在。您的数据将保留下来以备将来使用,并一直保留到您决定将其删除。默认情况下,使用 EC2 实例创建的根 EBS 卷随实例一起终止。但您可以将卷修改为具备持久性。
EBS 卷独立于它们所附加的 Amazon EC2 实例进行管理。您可以从 EC2 实例中分离现有 EBS 卷,然后将其重新附加到其他 EC2 实例。这样您就可以更改 EC2 实例类型,以满足您的性能要求并优化您的 Amazon EC2 成本。
卷类型
Amazon EBS 提供了多种卷类型,您可以使用这些卷类型来优化各种应用程序的存储性能和成本。这些卷类型分为两大类:SSD 型存储用于事务性工作负载(例如,数据库、虚拟桌面和启动卷),HDD 型存储用于吞吐量密集型工作负载(例如,MapReduce 和日志处理)。
基于 SSD 的卷包括两个级别,以满足您的应用程序要求:通用型 SSD 卷和预置 IOPS SSD 卷。
通用型 SSD 卷(gp3 和 gp2)平衡了事务性应用程序(包括虚拟桌面、测试和开发环境以及交互式游戏应用程序)的价格和性能。预置 IOPS SSD 卷是性能最高的 EBS 卷(io2 和 io1),适用于要求最苛刻的事务性应用程序,包括 SAP HANA、Microsoft SQL Server 和 IBM DB2。 基于 HDD 的卷包括吞吐量优化型 HDD (st1),适用于频繁访问的吞吐量密集型工作负载,还包括最低成本 Cold HDD (sc1),适用于访问频率较低的数据。
您可以选择最符合您的应用程序和使用案例要求的卷类型。您可以从一种卷类型更改为另一种卷类型。
弹性卷
使用弹性卷功能,您可以根据应用程序需求的变化调整卷。使用此功能动态地增加容量、调优性能和更改任何新的或现有的当前一代卷的类型,而不会造成停机时间或性能影响。您可以轻松地将部署规模调整到适当大小,并适应性能变化。
借助弹性卷功能,您可以更轻松地调整资源以适应不断变化的应用程序需求。您可以在将来业务需求发生变化时进行修改。
高可用性和高持久性
EBS 卷设计为高度可用、可靠且持久,无需您额外付费。EBS 卷数据在可用区中的多个服务器之间复制,以防止因任何单个组件的故障而丢失数据。
Amazon EBS 卷旨在实现 99.8–99.9% 的持久性,年故障率 (AFR) 为 0.1–0.2%。Amazon EBS 还支持快照功能,这是对数据进行时间点备份的好方法。
Amazon EBS 提供持久性更高的 io2 卷,旨在实现 99.999% 的持久性和 0.001% 的 AFR。在这种情况下,故障是指卷的完全或部分丢失。这使得 io2 成为业务关键应用程序(例如,SAP HANA、Oracle、Microsoft SQL Server 和 IBM DB2)的理想选择,这些应用程序将受益于更高的正常运行时间。
数据加密
您可以将 EBS 卷创建为加密卷,以满足受监管/审核数据和应用程序的各种静态数据加密要求。创建加密的 EBS 卷并将其附加到受支持的实例类型时,卷上静态存储的数据、磁盘 I/O 和从该卷创建的快照都会加密。加密在托管 EC2 实例的服务器上进行,为从 EC2 实例传输到 Amazon EBS 存储的数据提供加密。
原生快照支持
您可以创建持久保存到 Amazon S3 的 EBS 卷的时间点快照。快照可以保护数据以实现长期持久性。您可以使用快照将数据还原到新卷、扩展卷的大小或在可用区之间移动卷。您可以使用同一快照来实例化所需数量的卷。您可以在各个 AWS 区域之间复制这些快照。仅为快照数据使用的存储容量付费。
快照可让您在地理上保护数据并实现业务连续性。您可以使用 Amazon Data Lifecycle Manager (Amazon DLM) 自动执行快照管理,而没有任何额外的开销或成本。
AWS backup支持
AWS Backup 支持备份 EBS 卷。借助 AWS Backup,您可以集中和自动执行各种 AWS 服务中的数据保护。AWS Backup 提供一项经济高效、基于策略的完全托管式服务来进一步简化大规模数据保护。
AWS Backup 还可以帮助客户支持其监管合规并实现业务连续性目标。
性能监控
带宽、吞吐量、延迟和平均队列长度等性能指标可通过 AWS Management Console 获得。Amazon CloudWatch 提供了这些指标,以便您可以监控卷的性能。您可以确保为应用程序提供足够的性能,并且只为所需的资源付费。
Amazon EBS 使用案例
Amazon EBS 具备丰富的功能和可用性能选项,这使之成为许多工作负载和使用案例不错的存储选择。在本部分,您将了解 Amazon EBS 存储的最常见使用案例,包括企业应用程序、关系数据库、非关系 (NoSQL) 数据库、大数据分析以及文件系统和媒体工作流。
使用 Amazon EBS 的直接迁移本地应用程序
大多数使用本地应用程序的组织都为高昂的资本支出、复杂的管理、可扩展性挑战以及每 3-5 年需要更换一次的硬件所累。
维护现有的本地基础设施会导致运营负担增加。这种维护会耗尽预算和资源已经很紧张的组织的 IT 资金。面对这些本地部署挑战,IT 组织希望迁移到云,摆脱购买、管理和更换本地硬件、软件、服务和网络的传统、昂贵的生命周期。
大多数云迁移分阶段进行,以便更大限度地降低风险并缩短投入生产的时间。最常见的方法是直接迁移应用程序及其数据,对在云中运行的类似服务进行尽可能少的更改。这样就可以最快投入生产。应用程序部署到 AWS 上之后,您可以对应用程序元素进行现代化改造和重新构建,以利用云服务和优化来提供最显著的好处。
AWS 通过提供自动化工具 [例如 (opens in a new tab)AWS Application Migration Service (AWS MGN)(opens in a new tab) 和 AWS Server Migration Service (AWS SMS)(opens in a new tab)] 来实现直接迁移。
定价
使用 Amazon EBS 时,您只需按实际使用量付费。EBS 卷的定价基于卷类型、预置卷大小以及预置 IOPS 和吞吐量性能。EBS 卷的定价根据其所在的可用区而有所不同。Amazon EBS 快照的定价基于您使用的实际存储空间量。
有关 EBS 卷和 EBS 快照定价的更多信息,请参阅 AWS 网站上的 Amazon Elastic Block Store 定价(opens in a new tab) 页面。
预置 IOPS SSD io2 和 io1 卷都可以配置为提供高达 64,000 IOPS 和 1,000 MB/s 吞吐量,但只有 io2 卷对预置 IOPS 采用分层定价结构。通用型 SSD gp3 卷最多可预配 16,000 IOPS 和 1,000 MB/s 吞吐量。吞吐量优化型 HDD st1 卷只能针对吞吐量进行配置。
只有预置 IOPS io1 和 io2 卷类型可用于将单个卷附加到多个 EC2 实例。
AWS 定价计算器计算 EBS 卷和 AWS 快照的估算成本。使用该工具不需要实施 EBS 卷。您可以根据估算制定预算、比较不同的配置成本以及应用使用场景。
Compute Optimizer 使用 Amazon CloudWatch 指标来分析 EBS 卷,并提供建议以帮助您优化 Amazon Elastic Block Store (Amazon EBS) 成本。AWS Control Tower、Amazon Inspector 和 AWS OpsWorks 是与管理 EBS 卷无关的其他 AWS 服务。
通用型 SSD gp3 卷从 3,000 IOPS 和 125 MB/s 吞吐量基准开始。使用通用型 SSD gp2 卷,您可以使用突增积分突增至 3,000 IOPS,但是必须扩展存储卷大小以提高性能。使用预置 IOPS SSD io2 卷,您可以独立于卷大小来扩展 IOPS 性能,但从 100 IOPS 的基准开始。吞吐量优化型 HDD st1 卷,您可以通过扩大卷大小来扩展吞吐量。
Amazon EC2 实例和 Amazon EBS 卷必须位于同一可用区。
Amazon EBS 为您提供适合任何工作负载的可扩展性能,只需简单的配置设置即可轻松使用,与本地块存储相比非常可靠,可以扩展到几乎无限的容量,通过访问控制和加密保证安全,使用快照和 AWS Backup 进行保护,并且具有优化成本的选项,极具成本效益。
Amazon EC2 实例存储和 Amazon EBS 卷之间有几点区别。主要区别在于实例存储是短暂的(临时),Amazon EBS 卷是持久的。
删除关联的 EC2 实例后,实例存储也将被删除。Amazon EBS 卷与 EC2 实例分开存在,如果需要,可以移动到另一个实例。无论所附加的 EC2 实例的状态如何,您的数据都将保持不变。
Amazon CloudWatch 收集统计数据供您查看和分析 Amazon EBS 卷时使用。
Amazon EBS 快照会为您的数据创建增量时间点拷贝。作为托管式 AWS 服务,您的快照存储在托管 Amazon S3 存储桶中。CloudEndure Disaster Recover 为本地和基于云的系统提供灾难恢复服务。AWS DataSync 在本地存储和 AWS 云存储之间提供数据复制服务。AWS CloudTrail 可监控并记录对 AWS 服务的 API 调用。
其他 Amazon EBS 资源
更多 Amazon EBS 信息可通过下述网站上的以下文档获得。使用提供的链接可以直接访问这些资源。
Amazon EBS 文档
针对 Linux 实例的 Amazon Elastic Compute Cloud 用户指南针对 Windows 实例的 Amazon Elastic Compute Cloud 用户指南Amazon Elastic Block Store API 参考
Amazon EBS 网页
Amazon Elastic Block Store 概览Amazon EBS 特性Amazon EBS 定价Amazon EBS 卷类型Amazon EBS 常见问题解答Amazon EBS 的新功能博客帖子和文章
文件存储概览
AWS 目前提供了三种不同的托管文件存储服务来满足您的应用程序、工作流和使用案例需求。此外,您还可以使用 Amazon EBS 创建自管理的文件系统。
要在 AWS 上运行文件系统工作流,您可以选择 Amazon Elastic File System (Amazon EFS)、Amazon FSx for Lustre、Amazon FSx for NetApp ONTAP、Amazon FSx for OpenZFS、Amazon FSx for Windows File Server,您也可以自行构建专为专为您的工作负载协议而设计的高性能网络文件系统。
Amazon EFS 是适用于 Linux 的可扩展、弹性、云原生文件系统。Amazon EFS 支持网络文件系统 (NFS) 协议。Amazon FSx for Lustre 是一个 AWS 完全托管的并行文件系统,它基于 Lustre 构建,适用于高性能计算 (HPC) 工作负载。FSx for Lustre 支持兼容 Lustre POSIX 的协议。Amazon FSx for NetApp ONTAP 是作为完全托管式服务实现的 NetApp ONTAP 操作系统。FSx for NetApp ONTAP 支持用于数据块存储的 iSCSI、用于 POSIX 兼容访问的 NFS 协议、用于 Windows 兼容访问的 SMB 协议。Amazon FSx for OpenZFS 是 Open Zettabyte File System (ZFS) 的 AWS 完全托管式实现。FSx for OpenZFS 支持适用于各种应用程序实现的 NFS 和 SMB 协议。
注意:在初始服务发布时不支持 SMB 协议访问。 Amazon FSx for Windows File Server 是适用于 Windows 环境的 AWS 完全托管式文件系统。FSx for Windows File Server 支持服务器消息块 (SMB) 协议。使用 Amazon EC2 和 Amazon EBS,您可以快速创建自己的高性能数据块存储,用于构建自己的网络文件系统,包括以下协议和系统:
SMBNFSExtents File System (XFS)通用并行文件系统 (GPFS)Zettabyte File System (ZFS)其他客户文件系统
您可以选择所需的文件系统来优化您的应用程序或工作流。您可以引入媒体工作流并使用在 EC2 实例上运行的原生文件系统,并将数据存储在 EBS 卷上。
文件存储:Amazon EFS
Amazon Elastic File System (Amazon EFS) 提供一个简单、无服务器、弹性的文件系统,用于与 AWS 云服务和本地资源一起使用。它设计为可按需扩展到 PB 级,而不会中断应用程序,并且会自动增长和缩减。您可以添加和删除文件,无需预置和管理容量以适应增长。
Amazon EFS 概览
Amazon EFS 具有简单的 Web 服务界面,您可以使用它快速轻松地创建和配置文件系统。该服务为您管理所有文件存储基础设施,这意味着您可以避免部署、修补和维护复杂文件系统配置的复杂性。
Amazon EFS 文件系统可以增长到 PB 级规模,提高吞吐量水平,并允许从计算实例大规模并行访问您的数据。
Amazon EFS 支持网络文件系统版本 4(NFSv4.1 和 NFSv4.0)协议。您目前使用的应用程序和工具可与 Amazon EFS 无缝协作。多个计算模块可以同时访问 Amazon EFS 文件系统。这些模块包括 Amazon EC2、AWS Lambda、Amazon Elastic Container Service (Amazon ECS) 和 Amazon Elastic Kubernetes Service (Amazon EKS)。访问计算服务可为在多个计算实例或容器上运行的工作负载和应用程序提供一个通用数据源。
使用 Amazon EFS 时,您只需为文件系统使用的存储付费,没有最低费用或设置成本。Amazon EFS 提供了一系列为不同使用案例设计的存储类。这些存储类包括:
标准存储类 – EFS Standard 和 EFS Standard–Infrequent Access (Standard–IA),它提供多个可用区 (Multi-AZ) 弹性和最高级别的持久性和可用性。
单区存储类 – EFS One Zone 和 EFS One Zone–Infrequent Access (EFS One Zone–IA),它选择将数据保存在单个可用区 (Single-AZ) 中来实现额外的节省。
Amazon EFS 提供以下功能:
通过 AWS Management Console、AWS Command Line Interface (AWS CLI) 或 Amazon EFS API 实现的简单界面。文件系统访问语义,例如强数据一致性和文件锁定。您可以使用 Amazon EFS,通过可移植操作系统接口 (POSIX) 权限控制对文件系统的访问。支持身份验证、授权和加密功能,可帮助您满足安全性和合规性要求。提供各种工作负载所需的吞吐量、每秒输入/输出操作数 (IOPS) 和低延迟。使用 Amazon EFS 时,您可以从两种性能模式和两种吞吐量模式中进行选择:
默认的“通用”性能模式非常适合对延迟敏感的使用案例,例如 Web 服务环境、内容管理系统、主目录和常规文件服务。“最大 I/O”模式中的文件系统可以扩展至更高级别的聚合吞吐量和 IOPS。其代价是文件元数据操作的延迟稍高。
使用默认的“突增吞吐量”模式,吞吐量会随着文件系统的增长而扩展。使用“预置吞吐量”模式,您可以指定文件系统的吞吐量,而与存储的数据量无关。
Amazon EFS 功能
完全托管式
Amazon EFS 是一项完全托管式服务,为 Linux 工作负载提供 NFS 共享的文件系统存储。Amazon EFS 使创建和配置文件系统变得异常简单。您无需再担心管理文件服务器或存储、更新硬件、配置软件或执行备份等问题。您可以使用 AWS Management Console、AWS CLI 或 AWS SDK 在几秒钟之内创建完全托管的文件系统。
高可用性和持久性
Amazon EFS 旨在实现高可用性,以及实现 99.999999999%(11 个 9)的持久性。默认情况下,每个 Amazon EFS 文件系统对象(目录、文件和链接)都使用标准存储类在文件系统的多个可用区中冗余存储。
使用标准存储类的文件系统可以从其所在区域中的所有可用区同时访问。这意味着您可以将应用程序设计为从一个可用区故障转移到区域中的其他可用区,以确保最高级别的应用程序可用性。挂载目标设计为所有 Amazon EFS 存储类在可用区内高度可用。
如果您选择 Amazon EFS One Zone 存储类,您的数据将以冗余方式存储在单可用区内。Amazon EFS 旨在为并发设备故障执行快速检测和修复任何丢失的冗余。
存储类和生命周期管理
Amazon EFS 为频繁访问和不频繁访问的文件提供标准和单区存储类。Amazon EFS Standard-IA 和 Amazon EFS One Zone-IA 存储类为访问频率较低的文件进行了成本优化。
通过为文件系统启用 EFS 生命周期管理并选择 7、14、30、60 或 90 天的过期策略,您可以开始节省存储成本。启用 EFS 生命周期管理策略后,文件会自动从 Amazon EFS Standard 存储移动至 EFS Standard-IA 存储,或从 Amazon EFS One Zone 存储移动至 EFS One Zone-IA 存储。生命周期管理可将存储成本降低多达 92%。
根据业界公认的估计值(即 20% 的数据会经常使用,80% 的数据不经常访问),您可以以经济实惠的更低价格将文件存储在 Amazon EFS 上。
Amazon EFS 在同一个文件系统命名空间内为频繁访问和不频繁访问存储类的文件提供服务。因此,您不必考虑哪些文件会经常使用,哪些文件不经常访问。
安全性和合规性
您可以使用 Amazon Virtual Private Cloud (Amazon VPC) 安全组规则来控制对文件系统的网络访问。您还可以使用 AWS Identity and Access Management (IAM) 策略和 Amazon EFS 访问点来控制应用程序对文件系统的访问。Amazon EFS 满足多个资格和合规性要求,以帮助您满足法规要求。
可扩展的性能
Amazon EFS 旨在提供各种工作负载所需的吞吐量、IOPS 和低延迟。吞吐量和 IOPS 随着文件系统的增长而扩展。吞吐量和 IOPS 可在短时间内突增到更高的吞吐量级别,以支持文件工作负载不可预测的性能需求。对于要求最苛刻的工作负载,Amazon EFS 可以支持超过 10GB/秒以及超过 500,000 IOPS 的性能。
支持NFS v4.0和v4.1文件共享系统
Amazon EFS 为 Amazon EC2 实例、AWS 容器和无服务器计算服务以及本地服务器的数千个连接提供安全访问。该服务使用传统的文件权限模型、文件锁定和分层目录结构,使用 NFSv4 协议。Amazon EC2 实例可以跨可用区和区域访问文件系统。相比之下,本地服务器可以使用 AWS Direct Connect 或 AWS Virtual Private Network (AWS VPN) 访问文件系统。
性能模式
Amazon EFS 旨在提供各种工作负载所需的吞吐量、IOPS 和低延迟,并提供两种性能模式:“通用”和“最大 I/O”。
“通用”为每个文件系统操作提供最低的延迟,并且可以为随机或顺序 I/O 模式实现此延迟。“最大 I/O”可以扩展到更高级别的聚合吞吐量和每秒操作数。它非常适合能够扩展到数千个 Amazon EC2 实例的高度并行化应用程序。“最大 I/O”性能模式仅在使用标准存储类的 Amazon EFS 文件系统上提供。
吞吐量模式
Amazon EFS 提供两种吞吐量模式:突增和预置。吞吐量模式帮助确定文件系统可以实现的总体吞吐量。
使用“突增吞吐量”时,吞吐量随文件系统的大小而扩展。吞吐量根据需要动态突增,以支持许多基于文件的工作负载的峰值特性。“预置吞吐量”旨在支持需要比默认突增模式更高的专用吞吐量的应用程序。您可以独立于文件系统上存储的数据量来配置吞吐量。
弹性和可扩展
使用 Amazon EFS 时,存储容量具有弹性,在添加和删除文件时会自动增长和缩减。借助弹性容量,无需预置。您只需为使用的容量付费。
Amazon EFS 在存储容量和吞吐量性能方面都具有高度可扩展性。它会增长到 PB 级规模,并允许从 Amazon EC2 实例大规模并行访问您的数据。使用 Amazon EFS 之后,吞吐量和 IOPS 可以随文件系统增长而扩展,同时保证文件操作以一致、低延迟的方式进行。
加密
Amazon EFS 为静态数据和传输中数据提供加密,提供全面的加密解决方案,以保护存储的数据和传输中的数据。
使用 AWS Key Management Service (AWS KMS) 管理的加密密钥对静态数据进行透明加密。使用这种管理,就不再需要构建和维护密钥管理基础设施。
传输中的数据加密使用开放标准的传输层安全性 (TLS) 来保护网络流量,而无需修改应用程序。
容器和无服务器容器存储
Amazon EFS 与需要共享存储以应对任何规模的延迟敏感型和 IOPS 密集型工作负载的 AWS 容器和无服务器计算服务集成。
Amazon EFS 为在 Amazon ECS、Amazon EKS、AWS Fargate 和 AWS Lambda 上运行有状态工作负载的应用程序,提供共享文件系统访问。
数据传输和备份
AWS DataSync – AWS DataSync 是一项托管数据传输服务。使用此服务在本地存储和 Amazon EFS 之间移动数据。AWS Backup – AWS Backup 是一项完全托管式备份服务。使用此服务可以集中管理和自动备份 Amazon EFS 文件系统。AWS Backup 减少了对昂贵的自定义解决方案和手动流程的需求。该服务不仅备份 Amazon EFS,并且会集中备份云中和本地的其他 AWS 服务中的数据。AWS Transfer Family – AWS Transfer Family 为直接传入和传出 Amazon EFS 的文件提供完全托管式支持。AWS Transfer Family 支持安全文件传输协议 (SFTP)、SSL 文件传输协议 (FTPS) 和文件传输协议 (FTP)。
Amazon EFS 使用案例
Amazon EFS 具备丰富的功能和可用的性能选项,使之非常适合支持从主目录到业务关键型应用程序的各种使用案例。
定价
使用 Amazon EFS 时,您只需为使用的资源付费。没有最低费用,也不会产生设置费用。您只需为对存储在“不频繁访问”存储类中的数据进行的读写访问,以及任何预置的吞吐量付费。Amazon EFS 定价因其所在的 AWS 区域和存储类而异。预置吞吐量需额外收费。
有关 Amazon EFS 定价的更多信息,请参阅 AWS 网站上的 Amazon EFS 定价(opens in a new tab) 页面。
文件存储:Amazon FSx for Lustre
Amazon FSx for Lustre 简化了高性能 Lustre 文件系统的启动和运行。将 FSx for Lustre 用于速度至关重要的工作负载,例如机器学习、高性能计算 (HPC)、视频处理和财务建模。
Amazon FSx for Lustre
FSx for Lustre 是在开源、高性能 Lustre 文件系统上开发的托管式存储服务。
开源 Lustre 文件系统专为需要能够满足吞吐量要求的快速存储系统的计算密集型应用程序而设计。它还可以大规模满足每秒输入/输出操作数 (IOPS) 要求。FSx for Lustre 旨在快速、经济高效地处理大型数据集,并进行扩展以满足不断增长的需求。FSx for Lustre 文件系统能够提供每秒数百 GiB 的吞吐量和数百万 IOPS。
借助 FSx for Lustre,您可以将 Lustre 文件系统用于速度至关重要的任何工作负载。您不需要面对在本地设置和管理 Lustre 存储系统的传统复杂性。借助 FSx for Lustre,您可以在几分钟内启动高性能文件系统,而无需资本投资和运营管理费用。
Amazon FSx for Lustre 符合 POSIX 标准,因此您可以使用当前基于 Linux 的应用程序,而无需进行任何更改。Amazon FSx for Lustre 提供原生文件系统接口,其工作方式与任何文件系统在 Linux 操作系统上的工作方式相同。它还提供先写后读一致性并支持文件锁定。
您可以将 FSx for Lustre 与 Amazon Simple Storage Service (Amazon S3) 集成,以使用 FSx for Lustre 文件系统处理数据集。当链接到 S3 存储桶时,FSx for Lustre 文件系统会将 S3 对象透明地显示为文件,并允许您将更改的数据写回 Amazon S3。
借助 FSx for Lustre,您可以扩展计算资源以满足高性能计算工作负载需求。您可以根据计算处理需求从数百个 CPU 内核扩展到数万个 CPU 内核。您还可以扩展 FSx for Lustre 以满足您的存储容量和性能要求。
Amazon FSx for Lustre 功能
可扩展的高性能
FSx for Lustre 使用并行 Lustre 文件系统进行扩缩。并行文件系统会随着您的扩展而增加存储容量并线性提高性能。您可以部署容量以支持每秒数百 GiB 的吞吐量和数百万 IOPS,同时保持亚毫秒级延迟。
FSx for Lustre 部署了大内存和存储驱动器技术的组合,为您的工作负载提供 Lustre 文件系统服务。大内存提供最快的访问,以优化性能。
FSx for Lustre 使用固态硬盘 (SSD) 驱动器进行部署,可为管理操作提供高性能,并为工作负载提供元数据服务。您可以选择 SSD 存储或硬盘驱动器 (HDD) 存储来提供数据。您可以选择满足工作负载要求和优化成本所需的基准吞吐量性能。
借助内置的 Lustre 文件锁定功能,您可以将数以万计的 CPU 内核连接到相同的存储资源,并根据应用程序的需要同时访问数据。
FSx for Lustre 为您的工作负载提供几乎无限的资源。您可以扩展到所需的规模,而无需资本支出或担心扩大数据中心占用空间。
您只需选择工作负载所需的存储容量和性能。
为了帮助您监控工作负载性能,FSx for Lustre 集成了 Amazon CloudWatch 指标。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南 中的 监测 Amazon FSx for Lustre(opens in a new tab)。
无缝访问数据库存储
对于 Amazon Elastic Compute Cloud (Amazon EC2) 基于 Linux 的实例和 Amazon Elastic Kubernetes Service (Amazon EKS) 容器,FSx for Lustre 显示为原生驱动器。作为原生驱动器,您的应用程序能够连接到您的 FSx for Lustre 文件系统。
FSx for Lustre 以原生方式与 Amazon S3 数据存储库集成。您可以从 S3 存储桶中读取数据进行处理,然后将结果输出到 Amazon S3 以实现低成本的长期保留。
FSx for Lustre 支持从本地数据存储库 Cloudbursting。您可以通过 AWS Direct Connect 或虚拟专用网络 (VPN) 连接将数据集直接从本地导入到 FSx for Lustre。
借助原生集成,您可以节省导入数据集的时间和精力。对于您处理的每个工作负载,您还可以节省从本地存储系统中导出结果数据的时间。
简单和完全托管
FSx for Lustre 是一项完全托管式 AWS 存储服务。使用 AWS Management Console 可简化 FSx for Lustre 的配置。AWS 为您的工作负载预置和设置服务器和存储卷。
AWS 配置 Lustre 文件系统并维护 Lustre 软件,从而消除了管理 Lustre 文件系统实施的复杂性和维护开销。
通过与 Amazon S3 的原生集成以及对从本地数据存储库 Cloudbursting 的支持,FSx for Lustre 简化了将数据移入和移出工作负载的过程。AWS 为您管理移入和移出 Amazon S3 的操作。
兼容原生文件系统
FSx for Lustre 符合 POSIX 要求。FSx for Lustre 文件系统已集成到作为服务一部分的 Linux 操作系统的核心中。因为它符合 POSIX 要求,FSx for Lustre 的工作方式与任何文件系统处理 Linux 应用程序的方式一样。无需进行任何更改即可通过原生方式运行应用程序。
FSx for Lustre 为高性能计算工作负载的文件共享保持先写后读的紧密一致性。Lustre 文件系统内置了文件锁定支持,在 FSx for Lustre 中完全受支持。
成本优化
FSx for Lustre 针对性能和低成本进行了优化。您可以在短期暂存处理选项和长期持久性处理选项之间进行选择,以优化成本。
此外,您可以选择使用 SSD 存储或 HDD 存储运行 FSx for Lustre 文件系统,以满足您的工作负载要求。SSD 存储针对延迟敏感型工作负载或需要最高 IOPS 和吞吐量的工作负载进行了优化。HDD 存储针对以吞吐量关注型工作负载进行了优化,这些工作负载对延迟不敏感。对于基于 HDD 的文件系统,可选的 SSD 高速缓存可自动将最频繁读取的数据放在 SSD 上,从而提高性能。
为了优化存储成本,长期数据存储在经济高效的 Amazon S3、本地存储或基于 HDD 的 FSx for Lustre 文件系统中。
在使用 Amazon S3 时,根据应用程序的需求将数据导入到 FSx for Lustre。数据保留在 FSx for Lustre 中,以便在工作负载中进行处理。用于加载和保存数据的 Amazon S3 PUT 和 GET 请求数量已降至最低,这有助于优化成本。
您可以在几分钟内启动和删除 FSx for Lustre 文件系统。作为一项托管服务,FSx for Lustre 为您节省了自己动手的时间和资源费用。在工作负载完成后删除不再使用的任何文件系统,以优化成本。
您只需为使用的资源付费。您可以选择部署多少存储容量,以满足工作负载的数据集大小或性能需求。您只需为所选的存储容量和存储性能以及部署文件系统的时间付费。
安全与合规
FSx for Lustre 已集成到其他 AWS 服务中,以实现安全性和合规性。导入到 FSx for Lustre 中的数据已经进行加密。数据无法从任意故障 SSD 和 HDD 中访问,也无法从 SSD 和 HDD 上直接手动访问。同样,Amazon S3 存储桶中的数据也会加密以进行保护。
FSx for Lustre 符合以下条件:
支付卡行业 (PCI) 数据安全标准 (DSS)国际标准化组织 (ISO)健康保险便利和责任法案 (HIPAA)
用于运行 FSx for Lustre 服务的系统和软件设置专为安全性而设计。符合 HIPAA 法规是一项共同的责任。除了 FSx for Lustre 服务之外,您的应用程序和服务安全配置也需要合规性认证。
您使用 Amazon Virtual Private Cloud (Amazon VPC) 安全组控制对应用程序的访问。您将安全组配置为只允许工作负载所需的访问。您将 VPC 配置为包括与您的工作负载关联的资源,并允许根据需要从其他 VPC 中的资源进行访问。
您使用 AWS Identity and Access Management (IAM) 设置用户、组和角色并分配访问权限,从而控制访问。IAM 访问权限适用于对 FSx for Lustre 文件系统的管理和应用程序编程接口 (API) 访问。
您可以使用 AWS CloudTrail 监控和审计 API 调用。CloudTrail 监控并记录对 FSx for Lustre 服务的所有 API 调用。您可以使用这些日志来审计配置更改和对服务的访问。
Amazon FSx for Lustre 使用案例
FSx for Lustre 为不同水平和垂直使用案例中的计算密集型工作负载提供所需的性能处理。
水平使用案例 适用于各个行业和细分市场。这些行业广泛采用,并且对更高性能的需求不断增长,以便为越来越多的计算核心提供服务。水平使用案例的示例包括机器学习和高性能计算 (HPC) 工作负载。垂直使用案例 适用于某一行业或细分市场。许多计算密集型垂直行业依赖于并行文件系统来处理工作负载。这些工作负载的示例包括:
生命科学基因组学财务模型工业设计仿真媒体特效和渲染地震和储层勘探存在 HPC 和机器语言的任何其他垂直行业
这只是 FSx for Lustre 的一些使用案例。
定价
FSx for Lustre 托管服务提供基于使用情况的可预测定价。您只需为使用的资源付费。无最低费用或不产生设置费用。按文件系统预置的秒数计算成本。
对于暂存 FSx for Lustre 文件系统,根据配置的存储容量(以 GB 月为单位)为文件系统的使用付费。对于持久性 FSx for Lustre 文件系统,根据配置的存储容量(以 GB 月为单位)为文件系统的使用付费。此外,您可以选择三层基于 SSD 的性能和四层基于 HDD 的性能。备份定价基于实际备份的数据容量。
按性能层划分的每 GB 定价因 AWS 区域而异。有关更多定价信息和当前费率,请参阅 AWS 网站上的 Amazon FSx for Lustre 定价(opens in a new tab) 页面。
文件存储:Amazon FSx for Windows File Server
借助 Amazon FSx for Windows File Server,您可以为应用程序和用户启动和扩展可靠、高性能且安全的共享文件存储。您可以启动可跨越多个可用区的高持久性和可用文件系统。可以使用开放标准服务器消息块 (SMB) 协议从多达数千个计算实例访问这些文件系统。该服务提供一组管理和安全功能,并与 Microsoft Active Directory 集成。
Amazon FSx for Windows File Server 概述
Amazon FSx for Windows File Server 提供完全托管式 Microsoft Windows 文件服务器,由完全原生的 Windows 文件系统提供支持。Amazon FSx for Windows File Server 具有各种功能、性能和兼容性,可轻松将企业应用程序直接迁移到 AWS 云。
为了通过网络访问文件存储,FSx for Windows File Server为 Windows 文件系统功能和 SMB 协议提供原生支持。Amazon FSx 针对 AWS 中的企业应用程序进行了优化,具有原生 Windows 兼容性、企业性能和功能以及一致的亚毫秒级延迟。
借助 FSx for Windows file Server 上的文件存储,Windows 开发人员和管理员使用的代码、应用程序和工具能够不加任何更改地继续工作。非常适合 FSx for Windows File Server 的 Windows 应用程序和工作负载包括:
业务应用程序主目录Web 服务内容管理数据分析软件构建设置媒体处理工作负载
Amazon FSx for Windows File Server 功能
基于windows server构建而成
FSx for Windows File Server 基于 Windows Server 而构建。该服务提供了一组丰富的管理功能,包括用户文件还原、用户配额和访问控制列表 (ACL)。
由于 Windows Server 原生支持 SMB 协议,所以基于 Windows 的应用程序有权访问完全兼容的共享文件存储。您可以从 Linux 和 macOS 中的任何应用程序访问 SMB 文件共享。无论操作系统如何,您都可以访问存储。
为了控制用户访问,Amazon FSx 与您的本地 Microsoft Active Directory 和 AWS Managed Microsoft AD 集成。
可广泛访问
通过支持 SMB 协议,FSx for Windows File Server 可以将您的文件系统连接到以下 AWS 服务或资源:
Amazon Elastic Compute Cloud (Amazon EC2)Amazon Elastic Container Service (Amazon ECS)VMware Cloud on AWSAmazon WorkSpacesAmazon AppStream 2.0 实例
FSx for Windows File Server 支持从 Windows Server 2008 和 Windows 7 开始的所有 Windows 版本,还支持 Linux 和 macOS 的当前版本。
FSx for Windows File Server 还支持通过 AWS Direct Connect 或 AWS VPN 进行本地访问。它还支持使用 VPC 对等连接或 AWS Transit Gateway 从多个 Virtual Private Cloud (VPC)、AWS 账户和 AWS 区域进行访问。
对于经常访问的文件数据,Amazon FSx File Gateway 通过本地缓存提供高效、低延迟的本地访问。
完全托管式
作为一项完全托管式服务,FSx for Windows File Server 简化了在云中启动和缩放可靠、高性能和安全的共享文件存储的过程。您可以在几分钟内轻松地创建跨多个可用区的 FSx for Windows File Server 文件系统。您可以使用 AWS Management Console、AWS CLI 或 AWS SDK 来创建。
FSx for Windows File Server 设置和预置文件服务器和存储卷。它还可以复制数据、管理故障转移和故障恢复,并大大减少管理开销。AWS 还管理 FSx Windows File Server 的 Windows Server 软件更新。
性能和可扩展性
性能 – FSx for Windows File Server 旨在提供快速、可预测和一致的性能。Amazon FSx 为每个文件系统提供数 GB/s 的吞吐量,为每个文件系统提供数十万 IOPS,以及为文件操作提供一致的亚毫秒级延迟。要获得适合您工作负载的性能,您可以为文件系统选择吞吐量级别。然后,您可以随时扩展或缩减此吞吐量级别。扩展 – FSx for Windows File Server 为每个文件系统提供高达 64TB 的存储空间。您可以使用分布式文件系统 (DFS) 命名空间创建跨多个 FSx for Windows File Server 文件系统的共享公共命名空间。因此,您可以将存储和吞吐量扩展到几乎无限的水平。
安全与合规性
加密 – FSx for Windows File Server 的所有文件系统数据在静态和传输过程中自动加密。静态数据的加密使用 AWS Key Management Service (AWS KMS) 管理的密钥。数据在写入文件系统之前会自动加密,并在读取时自动解密。
您还可以对所有连接到文件系统的传输中数据强制进行加密,以满足合规性要求。当从支持 SMB 协议 3.0 或更高版本的计算实例访问时,Amazon FSx 会使用 SMB Kerberos 会话密钥自动加密传输中的数据。
合规性 – FSx for Windows File Server 经过评估,符合全球和行业安全标准。它遵守以下标准:
支付卡行业 (PCI) 数据安全标准 (DSS)国际标准化组织 (ISO) 9001、27001、27017 和 27018安全运营中心 (SOC)1、2 和 3
它还符合健康保险流通与责任法案 (HIPAA)。这种合规性使您可以更轻松地验证我们的安全性并履行自己的义务。
基于身份的身份验证 – FSx for Windows File Server 支持通过 Microsoft Active Directory 对 SMB 访问进行基于身份的认证。创建 FSx for Windows File Server 文件系统时,将它加入 Microsoft Active Directory(AWS Managed Microsoft AD 或您的自管理 Microsoft Active Directory)。
然后,您的用户可以使用其现有的基于 Active Directory 的用户标识来验证自己的身份。然后,他们可以访问 FSx for Windows File Server 文件系统,并控制对单个文件和文件夹的访问。
访问控制和监视 – FSx for Windows File Server 支持 Windows 访问控制列表 (ACL),以实现细粒度的文件和文件夹访问控制。对于网络级访问控制,您可以使用 Amazon Virtual Private Cloud (Amazon VPC) 安全组来控制对 FSx for Windows File Server 资源的访问。
FSx for Windows File Server 与 AWS Identity and Access Management (IAM) 集成。使用 IAM 控制您的 IAM 用户和组可以对特定 FSx for Windows File Server 资源执行的操作。
FSx for Windows File Server 与 AWS CloudTrail 集成以监测和记录管理操作。Amazon FSx 还提供用户存储配额来监测和控制用户级存储使用。
网络隔离 – 您可以从 Amazon VPC 访问 FSx for Windows File Server 文件系统。您可以使用 Amazon Vircutal Private Cloud (Amazon VPC) 安全组和 VPC 网络 ACL 来配置防火墙设置并控制对 FSx for Windows File Server 文件系统的网络访问。
文件访问审计 – FSx for Windows File Server 支持使用 Windows 事件日志审核用户对文件、文件夹和文件共享的访问。日志会发布到 Amazon CloudWatch Logs 或流式传输到 Amazon Kinesis Data Firehose。然后,您可以执行以下操作:
查看和查询 CloudWatch Logs 中的日志归档 Amazon S3 中的日志触发 Lambda 函数以执行响应式操作 执行后处理操作
可用性和持久性
高可用性和高持久性 – 为确保高可用性和高持久性,FSx for Windows File Server 在数据所在的可用区内自动复制数据,以保护数据免受组件故障的影响。该服务持续监视硬件故障,并在发生故障时自动替换基础设施组件。在创建过程中指定可用区。
FSx for Windows File Server 为基于 Windows 文件的工作负载提供单可用区和多可用区部署选项。
多可用区部署 – 多可用区部署选项旨在使数据持续可用,即使该可用区不可用时数据也能持续可用。多可用区文件系统在不同的可用区中包含一组活动和备用文件服务器。写入文件系统中磁盘的任何更改都会跨可用区同步复制到备用数据库。
在计划维护期间,或者在活动文件服务器或其可用区发生故障时,FSx for Windows File Server 会自动故障转移到备用服务器。然后可以恢复文件系统运行,而不会丧失数据的可用性。
支持高可用性 Microsoft SQL Server 部署 – 高可用性 (HA) Microsoft SQL Server 通常在 Windows Server 故障转移集群 (WSFC) 中的多个数据库节点部署,每个节点都可以访问共享文件存储。通过支持持续可用 (CA) 文件共享,可以为这些群集提供高度可用的共享文件存储。
数据保护
自动每日备份 – 为了帮助确保您的数据受到保护,FSx for Windows File Server 会自动对文件系统进行高度持久、一致的每日备份。备份存储在 Amazon S3 的托管区域。FSx for Windows File Server 使用卷影复制服务 (VSS) 使备份文件系统保持一致。您可以在任何时候对文件系统进行额外的备份。
轻松的文件级还原(Microsoft Windows 卷影副本) – 用户可以轻松撤销更改和比较文件版本。FSx for Windows File Server 支持使用 Windows 卷影副本将单个文件和文件夹还原到以前的版本。
使用 AWS Backup 实现集中式备份和合规性 – 为了满足企业合规性和数据保护要求,FSx for Windows File Server 与 AWS Backup 集成。您可以为 FSx for Windows File Server 文件系统创建计划好的、策略驱动的备份计划。
跨区域和跨账户备份合规性 – 要提供另一层数据保护,您可以在不同 AWS 区域和/或 AWS 账户之间复制 FSx for Windows File Server 文件系统备份。使用此功能,您还可以满足业务连续性、灾难恢复和合规性方面的要求。
成本效益
借助 FSx for Windows File Server,您可以获得按 GB 月定价的高度可用、持久和可扩展的文件存储。FSx for Windows File Server 在云中为 Windows 应用程序和工作负载提供低成本的文件存储。
您可以随时轻松增加文件系统存储并扩展吞吐容量,从而减少管理文件存储所需的时间和资源。
存储选项 – FSx for Windows File Server 提供两种类型的存储:硬盘驱动器 (HDD) 和固态硬盘 (SSD)。您可以选择最适合您的应用程序或工作负载要求的存储。通过实施这些存储类型中的任何一种,您可以优化成本和性能以满足您的需求。
HDD 存储 为广泛的工作负载而设计,包括主目录、用户和部门共享以及内容管理系统。SSD 存储 为性能最高、对延迟最敏感的工作负载而设计,包括数据库、媒体处理工作负载和数据分析应用程序。
数据去重 – 您可以启用数据去重功能,通过仅存储一次数据集的重复部分,自动降低与冗余数据相关的成本。以下是典型的平均节省:
通用文件共享节省 50%-60%用户文档节省 30%-50%软件开发数据集节省 70%-80%
用户配额 – FSx for Windows File Server 提供用户配额来监视和控制文件系统上的用户级存储消耗。使用案例包括团队间的成本分配和限制用户级的存储消耗。
使用 AWS DataSync 进行高效迁移
借助 AWS DataSync,您可以在几分钟内将自管理的文件系统移动到 FSx for Windows File Server 上完全托管的 Windows 存储。与 AWS DataSync 集成可自动执行并加快通过互联网或 AWS Direct Connect 复制数据。DataSync 会将文件与文件属性和元数据一起复制。
Amazon FSx for Windows File Server 使用案例
FSx for Windows File Server 使用案例类似于 Amazon EFS 的使用案例。主要区别在于,它们适用于使用 SMB 协议而不是 NFS 协议的应用程序和工作流。如果您打算使用基于 Windows 的应用程序,FSx for Windows File Server 可以满足您的要求。
定价
使用 FSx for Windows File Server 时,您只需为使用的资源付费。无最低费用或不会产生设置费用。您需要为文件系统提供的存储和吞吐量容量以及文件系统的任何备份付费。定价元素包括:
HDD 和 SSD 存储容量吞吐量容量备份跨可用区和 VPC 对等连接传入和传出 FSx for Windows File Server 的数据传输。从 FSx for Windows File Server 到其他 AWS 区域的数据传输
有关 Amazon EFS 定价的更多信息,请参阅 AWS 网站上的 Amazon FSx for Windows File Server 定价(opens in a new tab) 页面。
文件存储:Amazon FSx for NetApp ONTAP
借助 Amazon FSx for NetApp ONTAP,您可以启动和扩展基于 NetApp 广受欢迎的 ONTAP 文件系统构建的可靠、高性能且功能丰富的文件存储。它提供了 NetApp 文件系统中熟悉的特性、性能、功能和 API,以及完全托管式 AWS 服务的敏捷性、可扩展性和简单性。
Amazon FSx for NetApp ONTAP 概览
Amazon FSx for NetApp ONTAP 提供功能丰富、快速且灵活的共享文件存储,可通过在 AWS 或本地运行的 Linux、Windows 和 macOS 计算实例进行广泛访问。FSx for ONTAP 支持基于 iSCSI 的数据块级存储,以及使用 NFS 和 SMB 协议的文件存储。
FSx for ONTAP 提供具有亚毫秒级延迟的高性能 SSD 存储,只需单击一个按钮即可对文件创建快照、克隆和复制,从而快速轻松地管理数据。它还会自动将数据分层到成本更低的弹性存储,无需预置或管理容量,并使您可为工作负载实现 SSD 级别的性能,同时只需为一小部分数据支付 SSD 存储费用。
FSx for ONTAP 提供高度可用和持久的存储,具有完全托管式备份和对跨区域灾难恢复的支持,并支持常用的数据安全和防病毒应用程序,使保护数据变得更加容易。
如果您现在在本地使用 NetApp ONTAP,FSx for ONTAP 是将基于文件的应用程序从本地迁移、备份或突增到 AWS 的理想解决方案,无需更改应用程序代码或管理数据的方式。
借助 FSx for ONTAP,您无需再担心设置和预置文件服务器和存储卷、复制数据、安装和修补文件服务器软件、检测和解决硬件故障、管理故障转移和故障恢复以及手动执行备份。
FSx for ONTAP 还提供了与其他 AWS 服务的丰富集成,这些服务包括 AWS Identity and Access Management (IAM)、Amazon WorkSpaces、AWS Key Management Service (AWS KMS) 和 AWS CloudTrail。
FSx for ONTAP 功能
FSx for ONTAP 是一项存储服务,使您可以在 AWS 云中启动和运行完全托管式 NetApp ONTAP 文件系统。它提供了 NetApp 文件系统中熟悉的特性、性能、功能和 API,以及完全托管式 AWS 服务的敏捷性、可扩展性和简单性。
FSx for ONTAP 提供高性能文件存储,可通过行业标准的 NFS、SMB 和 iSCSI 协议从 Linux、Windows 和 macOS 计算实例广泛访问。借助它,您可以使用 ONTAP 广泛采用的数据管理功能。单击一个按钮,即可创建快照、克隆和复制。此外,它还提供完全弹性且大小几乎无限的低成本存储容量。FSx for ONTAP 支持数据压缩和数据去重,可帮助您进一步降低存储成本。
FSx for ONTAP 功能特性摘要
借助 FSx for ONTAP,您可以获得具有以下特性的完全托管式文件存储解决方案:
在单个命名空间内支持 PB 级数据集
每个文件系统每秒数 GB (GBps) 的吞吐量
使用 NFS、SMB 和 iSCSI 协议对数据进行多协议访问
通过多可用区部署实现高可用性和持久性
自动数据分层,根据访问模式自动将不常访问的数据转换为成本较低的存储层,从而降低存储成本
利用数据压缩和数据去重以减少存储消耗
支持 NetApp 的 SnapMirror 复制功能
支持 NetApp 的本地缓存解决方案:NetApp Global File Cache 和 FlexCache
支持使用原生 AWS 或 NetApp 工具和 API 进行访问和管理
AWS Management Console、CLI 和 SDK
NetApp ONTAP CLI、REST API 和 Cloud Manager
支持以下数据保护和安全功能:
使用 KMS 密钥对文件系统数据和静态备份进行加密使用 SMB Kerberos 会话密钥对传输中的数据进行加密按需防病毒扫描使用 Active Directory 进行身份验证和授权文件访问审计
FSx for ONTAP 使用案例
FSx for ONTAP 使用案例类似于 Amazon EFS、Amazon FSx for Windows File Server 和 Amazon FSx for OpenZFS 的使用案例。主要区别在于,它们为使用 NFS 和 SMB 协议的应用程序和工作流应用多协议访问,并提供为数据块存储使用 iSCSI 协议的选项。如果您打算使用具有多协议访问的应用程序,或迁移现有的 NetApp ONTAP 存储,那么 FSx for ONTAP 是合理的选择。
定价
使用 Amazon FSx for NetApp ONTAP 时,您只需为使用的资源付费。无最低费用或不会产生设置费用。存储和管理数据时要考虑五个 Amazon FSx for NetApp ONTAP 组件:SSD 存储、SSD IOPS、容量池使用情况、吞吐量容量和备份。定价元素包括:
SSD 存储容量SSD IOPS容量池使用情况吞吐量容量备份跨可用区和 VPC 对等连接传入和传出 FSx for ONTAP 的数据传输。容量池读取和写入请求。
有关 Amazon FSx for NetApp ONTAP 定价的更多信息,请参阅 AWS 网站上的 Amazon FSx for NetApp ONTAP 定价(opens in a new tab) 页面。
文件存储:Amazon FSx for OpenZFS
Amazon FSx for OpenZFS 使得在 AWS 上启动、运行和扩展完全托管式文件系统变得很容易,它可以取代您在本地运行的文件服务器,同时帮助提供更好的灵活性和更低的成本。借助 Amazon FSx for OpenZFS,您无需再担心设置和预置文件服务器和存储卷、复制数据、安装和修补文件服务器软件、检测和解决硬件故障以及手动执行备份。
Amazon FSx for OpenZFS 概览
Amazon FSx for OpenZFS 是完全托管式文件存储服务,使驻留在本地 ZFS 或其他基于 Linux 的文件服务器中的数据可以轻松移动到 AWS,无需修改应用程序代码或数据管理方式。它提供基于开源 OpenZFS 文件系统构建的高度可靠、可扩展、高性能和功能丰富的文件存储。
Amazon FSx for OpenZFS 是一项存储服务,它使您可以在 AWS 上启动、运行和扩展完全托管式 OpenZFS 文件系统。它提供了 OpenZFS 文件系统中熟悉的特性、性能和功能,以及完全托管式 AWS 服务的敏捷性、可扩展性和简单性。
FSx for OpenZFS 文件系统可通过行业标准 NFS 协议(v3、v4、v4.1 和 v4.2)从 Linux、Windows 和 macOS 计算实例和容器访问。FSx for OpenZFS 采用 AWS Graviton 系列处理器以及最新的 AWS 磁盘和联网技术,可为高性能工作负载提供高达 100 万 IOPS,延迟为几百微秒。
Amazon FSx for OpenZFS 功能
FSx for OpenZFS 功能特性摘要
借助 FSx for OpenZFS,您可以获得具有以下特性的完全托管式文件存储解决方案:
支持通过行业标准 NFS 协议(v3、v4.0、v4.1 和 v4.2)从 Linux、Windows 和 macOS 计算实例和容器(在 AWS 或本地运行)访问。
高达 100 万 IOPS,延迟仅为几百微秒,对于频繁访问的数据(来自内存中缓存),吞吐量高达 12.5GBps。对于从 SSD 磁盘访问的数据,高达 160,000 IOPS 和高达 4GBps 的未压缩吞吐量和 8-12GBps 的压缩吞吐量。
强大的 OpenZFS 数据管理功能,包括 Z-Standard 压缩、近乎即时的时间点快照和数据克隆,通过 Amazon FSx API 原生支持。
高度可用且高度持久的文件系统。
支持每个文件系统有多个卷、精简配置以及用户或组存储配额,以在多个用户和应用程序中实现经济高效的共享文件系统。
支持以下数据保护和安全功能:
存储在 S3 上的内置、完全托管式文件系统备份,支持跨区域备份副本。
本地存储在每个文件系统中的近乎即时的时间点 OpenZFS 快照。
使用 KMS 密钥自动加密文件系统静态数据和备份。
从支持的 EC2 实例访问时,在传输中自动加密。
FSx for OpenZFS 使用案例
FSx for OpenZFS 使用案例类似于 Amazon EFS、Amazon FSx for Windows File Server 和 Amazon FSx for NetApp ONTAP 的使用案例。主要区别在于,它们为使用 NFS 和 SMB 协议的应用程序和工作流应用多协议访问。如果您打算使用具有多协议访问的应用程序,或迁移现有的 OpenZFS 存储,那么 FSx for OpenZFS 是合理的选择。
注意:在初始服务启动时不支持 SMB 协议访问。
定价
使用 Amazon FSx for OpenZFS 时,您只需为使用的资源付费,无最低费用或设置费用。虽然定价是按月报价,但您的使用量是按秒分摊计算,您要按一个月的平均使用量付费。
存储和管理数据时要考虑四个 FSx for OpenZFS 组件:
SSD 存储容量SSD IOPS吞吐量容量备份存储
其他定价考虑因素
跨可用区和 VPC 对等连接传入和传出 FSx for ONTAP 的数据传输。从 FSx for OpenZFS 到其他 AWS 区域的数据传输
有关更多定价信息,请参阅 AWS 网站上的 Amazon FSx for OpenZFS 定价(opens in a new tab) 页面。
对象存储:Amazon S3
Amazon Simple Storage Service (Amazon S3) 是一项对象存储服务,提供行业领先的可扩展性、数据可用性、安全性和性能。这意味着各种规模和细分领域的客户都可以针对各种使用案例使用它来存储和保护任意数量的数据。使用案例包括:
数据湖网站移动应用程序备份与还原归档企业应用程序物联网设备大数据分析
Amazon S3 提供了易于使用的管理功能,因此您可以组织数据并配置细致的访问控制,以满足特定的业务、组织和合规性要求。Amazon S3 可达到 99.999999999%(11 个 9)的持久性。
Amazon S3 概览
Amazon Simple Storage Service (Amazon S3) 是用于互联网的存储。它旨在使 Web 扩展或云原生计算变得更加容易。Amazon S3 与各种其他 AWS 服务集成,以便您可以为组织创建强大的工作负载。
Amazon S3 有一个简单的 Web 服务界面,您可以使用该界面从 Web 上的任何位置存储和检索任意数量的数据。Amazon S3 使用基于标准的 REST API,旨在与任何互联网开发工具包配合使用。
Amazon S3 具有各种功能,您可以使用这些功能以支持特定使用案例、实现成本效益、实施安全性并满足合规性要求的方式组织和管理数据。数据作为对象存储在称为存储桶 的资源中。单个对象的大小最大为 5TB。您可以通过 S3 访问点或直接通过存储桶主机名访问对象。
S3 包括以下功能:
向对象附加元数据标签在不同的 S3 存储类之间移动和存储数据配置和实施数据访问控制保护数据免受未经授权的用户侵害运行大数据分析在对象或存储桶级别监控数据查看整个组织的存储使用情况和活动趋势
Amazon S3 具有扁平的非层次结构。所有对象都存储在 S3 存储桶中,可以使用称为前缀 的共享名称进行组织。
Amazon S3 提供业界领先的云对象存储性能。Amazon S3 支持并行请求。这意味着您可以以计算集群的大小作为系数扩展 S3 性能,而无需定制应用程序。性能扩展基于前缀进行,因此您可以并行使用任意多的前缀来获得所需的吞吐量。您可以使用几乎无限数量的前缀。Amazon S3 性能支持每秒至少 3,500 个请求用于添加数据,每秒至少支持 5,500 个请求用于检索数据。每个 S3 前缀都可以支持这些请求速率,因此可以很容易地显著提高性能。
Amazon S3 为所有 AWS 区域中 Amazon S3 存储桶中对象的 PUT 和 DELETE 操作提供强大的先写后读一致性。这既适用于到新对象的写入,也适用于覆盖现有对象的 PUT 操作和 DELETE 操作。此外,Amazon S3 Select、Amazon S3 访问控制列表、Amazon S3 对象标签和对象元数据(例如 HEAD 对象)上的读取操作具有很强的一致性。
继续了解有关 Amazon S3 功能的更多信息。
Amazon S3 存储类
Amazon S3 提供了一系列针对不同使用案例设计的存储类。每个 S3 存储类以相应的成本或地理位置支持特定的数据访问级别。S3 存储类包括:
S3 Standard,适用于频繁访问数据的通用存储 S3 Standard-Infrequent Access (S3 Standard-IA),适用于访问频率较低的数据 S3 One Zone-Infrequent Access (S3 One Zone-IA),适用于访问频率较低,可用性要求较低的数据S3 Intelligent-Tiering,适用于访问模式未知或不断变化的数据Amazon S3 Glacier Instant Retrieval,成本较低的归档存储,可能需要随时检索Amazon S3 Glacier Flexible Retrieval,低成本归档存储,检索时间从几分钟到几小时不等Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive),成本最低的存储,但检索时间会长达 12 个小时Amazon S3 on Outposts,用于满足数据驻留要求的本地混合数据存储。
Amazon S3 还提供了在数据的整个生命周期内对其进行管理的功能。设置 S3 生命周期策略后,您的数据会自动转移到另一个存储类,而无需对应用程序进行任何更改。
您可以使用 S3 存储类分析来监控对象之间的访问模式,以发现应移动到较低成本存储类的数据。然后,您可以使用此信息来配置用于进行数据转移的 S3 生命周期策略。
S3 生命周期策略还可用于在对象生命周期结束时使对象过期。在 S3 Intelligent-Tiering 中,您可以存储具有变化或未知访问模式的数据。生命周期策略根据不断变化的访问模式在两个针对频繁和不频繁访问优化的低延迟访问层之间自动移动数据。当对象的子集在很长一段时间内很少被访问时,您可以激活两个专为异步访问而设计且对归档访问进行了优化的归档访问层。
有关 Amazon S3 存储类的更多信息,请参阅 Amazon Simple Storage Service 用户指南 中的 使用 Amazon S3 存储类(opens in a new tab)。
Amazon S3 功能
Amazon S3 管理和监控
Amazon S3 存储分析和见解
Amazon S3 访问管理和安全性
Amazon S3 提供了灵活的安全功能,用于阻止未经授权的用户访问数据。
Amazon S3 数据处理和查询
Amazon S3 使用案例
Amazon S3 使用案例与许多文件存储系统的使用案例类似。Amazon S3 具有几乎无限的低成本存储,是满足数据密集型和长期数据存储需求的强大存储解决方案。
定价
借助 Amazon S3,您只需按实际使用量付费。没有最低费用。存储和管理数据时,Amazon S3 要考虑六个成本组件:
存储定价请求和数据检索定价数据传输和传输加速定价数据管理和分析定价使用 S3 Object Lambda 处理数据的价格Amazon S3 定价因它所在的 AWS 区域而异。
有关 Amazon S3 定价的更多信息,请参阅 AWS 网站上的 Amazon S3 定价(opens in a new tab) 页面。
EBS、EFS、S3对比
以下是AWS主要存储服务的对比表格,综合了EBS、EFS、S3的核心特性与适用场景:
特性
Amazon EBS (块存储)
Amazon EFS (文件存储)
Amazon S3 (对象存储)
Amazon S3 Glacier (归档存储)
数据模型
块级存储(类似硬盘分区)
文件系统(POSIX兼容)
对象存储(键值对)
对象存储(归档层级)
访问方式
挂载到单个EC2实例
多EC2实例/容器共享访问(支持Linux)
REST API/HTTPS访问
REST API/S3生命周期策略触发
典型用例
数据库(如RDS)、需要低延迟的应用
共享代码库、媒体处理流水线
静态网站托管、日志归档、大数据分析
合规性存档、医疗影像存储、备份
性能特点
低延迟(SSD类型IOPS可达64,000)
高吞吐(10+ GB/s并发访问)
高吞吐(单对象5TB上限)
检索延迟分钟级(需配置加速模式)
持久性
99.8%-99.9%(依赖EC2实例状态)
99.999999999%(11个9)
99.999999999%(11个9)
同S3
扩展性
单卷最大64TB(io2 Block Express)
PB级自动扩展
无限扩展
无限扩展
成本结构
按预配置容量和IOPS计费(如gp3 $0.08/GB/月)
按实际使用量计费($0.08/GB/月 + 文件操作费用)
按存储量(标准层$0.023/GB/月)+ 请求次数
存储成本低至$0.004/GB/月,但检索费用较高
生命周期管理
支持快照备份至S3
支持自动分层到低频访问层
支持跨区域复制、版本控制、自动归档到Glacier
需通过S3生命周期策略触发
安全特性
卷加密(AWS KMS)、快照加密
文件级IAM权限控制
存储桶策略、对象ACL、预签名URL
继承S3安全策略
关键差异总结:
访问粒度• EBS提供块级访问(直接读写磁盘扇区),适合需要精细控制存储结构的场景,如数据库索引优化;• EFS通过文件协议(NFS)支持多节点共享,适合需要协作的开发环境;• S3以对象为最小单元,更适合非结构化数据(如图片、视频)的存储与检索。
成本敏感性场景• **高频访问**:EBS预置IOPS(io2)成本较高,但性能稳定,适合OLTP数据库;• **低频访问**:S3智能分层(自动切换标准/低频层)可节省30%成本;• **归档场景**:Glacier Deep Archive成本比标准S3低90%,但需接受小时级检索延迟。
架构集成• EBS需与EC2强绑定,适合单一实例的持久化存储;• EFS可跨AZ挂载,适合容器化应用(如EKS)的共享存储;• S3通过EventBridge触发Lambda,常用于无服务器架构的数据处理流水线。
建议根据数据访问模式(随机/顺序读写)、延迟要求及预算综合选择。例如,电商秒杀系统推荐S3+CloudFront托管静态资源,结合DynamoDB处理订单,而金融交易系统则需EBS优化型卷支撑高并发数据库事务。
EBS块存储
S3对象存储
S3 使用案例
Amazon S3 是一项广泛使用的存储服务,其使用案例数不胜数。要了解详情,请分别展开查看以下六个类别。
备份和存储
Amazon S3 是用于备份文件的理想位置,因为它高度冗余。如上一节课中所述,AWS 将您的 EBS 快照存储在 Amazon S3 中,从而利用其高可用性。
媒体托管
因为采用 Amazon S3,您可以存储无限量的对象,而且单个对象可以达到 5 TB,所以它非常适合托管视频、照片和音乐上传内容。
软件交付
您可以使用 Amazon S3 托管客户可下载的软件应用程序。
数据湖
Amazon S3 为数据湖奠定了坚实基础,因为它的可扩展性几乎不受限制。您可以将内容存储从 GB 增加到 PB 级,只需按实际使用量付费。
静态网站
您可以将 S3 存储桶配置为托管包含 HTML、CSS 和客户端脚本的静态网站。
静态内容
由于 Amazon S3 可以无限扩展、支持大文件以及可让您随时通过 Web 访问任何对象,因此它是存储静态内容的理想场所。
S3 存储类
如果您将对象上传到 Amazon S3,但未指定存储类,则会将对象上传到默认存储类(通常称为标准存储)。在之前的课程中,您已了解默认的 Amazon S3 标准存储类。 利用 Amazon S3 存储类,您能够在数据特征发生变化时更改存储层。例如,如果您很少访问旧照片,则可能需要更改照片的存储类,节省成本。
存储类
描述
S3 标准
适用于云应用程序、动态网站、内容分发、移动和游戏应用程序以及大数据分析的通用型存储。
S3 Intelligent-Tiering
适用于数据访问模式未知或不断变化的情况。将对象存储在三个层中:频繁访问层、不频繁访问层和归档实例访问层。Amazon S3 会监控数据的访问模式,并根据访问频率自动将数据移动到最经济实惠的存储层。
S3 标准 - 不频繁访问存储(S3 标准 - IA)
适用于不常访问、但在需要时要求快速访问的数据。兼具 S3 标准的高持久性、高吞吐量和低延迟特点,同时具有较低的每 GB 存储价格和检索费用,适合存储长期备份和灾难恢复文件等。
S3 One Zone - 不频繁访问存储(S3 One Zone - IA)
将数据存储在单个可用区中,成本低于 S3 标准 - IA。适合针对不频繁访问的数据使用较低费用选项,且不需要 S3 标准或 S3 标准 - IA 的可用性和弹性的客户,适用于存储本地数据或可轻松重新创建的数据的辅助备份副本。
S3 Glacier Instant Retrieval
适用于很少访问,但需要在数毫秒内检索的归档数据。与 S3 标准 - IA 存储类相比,此存储类中存储的数据可节省高达 68% 的成本,延迟和吞吐量性能相同。
S3 Glacier Flexible Retrieval
适用于每年访问 1 - 2 次的归档数据,可提供低成本存储。可使用加速检索在短短 1 - 5 分钟内访问数据,也可在最多 5 - 12 小时内请求免费批量检索,适合备份、灾难恢复、异地数据存储需求等场景。
S3 Glacier Deep Archive
是最低成本的 Amazon S3 存储类。支持长期保留和数字化保存每年可能访问一两次的数据,默认检索时间为 12 小时。可满足监管合规性要求,适用于高度管制的行业,如金融服务、医疗保健和公共部门。
S3 on Outposts
使用 S3 API 和 S3 功能,为本地部署 AWS Outposts 环境提供对象存储。适用于需要满足本地数据驻留要求或出于性能原因,要将数据保留在本地部署应用程序附近的工作负载。
EFS文件存储