obs数据一致性校验-九游平台

obsutil支持在上传对象时通过附加参数（vmd5）来校验数据的一致性。

以在windows操作系统上传本地一个位于d盘的test.txt文件至mytestbucket桶为例，开启一致性校验的命令示例如下：

obsutil cp d:\test.txt obs://mytestbucket/test.txt -vmd5

校验通过后，对象上传成功，系统显示upload successfully的回显信息。

obs browser 默认关闭md5校验，在obs browser 上启用md5校验一致性并上传对象的步骤如下：

1. 登录obs browser 。
2. 单击客户端右上方的，并选择“高级设置”。
3. 勾选“md5校验”，如图3所示。
   图3 配置md5校验
   
4. 单击“确定”。
5. 选择待上传文件的桶，上传文件。
   • 如果md5校验成功，则文件上传成功。
   • 如果md5校验失败，则文件上传失败，且在任务管理中提示失败原因：校验文件md5失败。

obs提供java、python等多种语言的sdk，各sdk通过在上传对象时设置对象的content-md5值以开启一致性校验。如何计算并设置对象md5值请前往obs sdk参见各自开发指南的setobjectmetadata接口。

此处以使用obs java sdk上传windows本地d盘一个名为text.txt的文本文件至mytestbucket为例，上传过程使用md5值校验数据一致性的示例代码如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

stringendpoint="https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
stringak=system.getenv("access_key_id");
stringsk=system.getenv("secret_access_key_id");
// 创建obsclient实例
obsclientobsclient=newobsclient(ak,sk,endpoint);
// 计算并设置md5值
objectmetadatametadata=newobjectmetadata();
filefile=newfile("d:\\text.txt");
fileinputstreamfis=newfileinputstream(file);
inputstreamis=(inputstream)fis;
stringcontentmd5=obsclient.base64md5(is);
metadata.setcontentmd5(contentmd5);
// 带md5值上传文件
obsclient.putobject("mytestbucket","text.txt",file,metadata);

• 对象数据的md5值必须经过base64编码。
• obs服务端会将该md5值与对象数据计算出的md5值进行对比，如果不匹配则上传失败，返回http 400错误。如果匹配，对象上传成功，返回http 200状态码。

obsutil支持在下载对象时通过附加参数（vmd5）来校验下载数据的一致性。

以在windows操作系统下载mytestbucket桶中的test.txt文件至本地为例，开启数据一致性校验的步骤如下：

1. 执行以下命令，检查待下载对象是否具有md5信息。

   obsutil stat obs://test-bucket/test.txt

   • 返回的对象基本信息中，包含md5信息，如下图所示，执行步骤2。

     

   • 不包含md5信息，下载对象时无法进行一致性校验。
2. 执行以下命令，下载对象。

   obsutil cp obs://mytestbucket/test.txt d:\test.txt -vmd5

   • 对象下载成功且通过一致性校验，回显信息如下：

     

   • 如果桶中对象没有md5值，对象能够下载成功，但不会校验一致性，回显信息如下：

     

obs browser 默认关闭md5校验，在obs browser 上启用md5校验一致性并下载对象的步骤如下：

1. 登录obs browser 。
2. 单击客户端右上方的，并选择“高级设置”。
3. 勾选“md5校验”，如图4所示。
   图4 配置md5校验
   
4. 单击“确定”。
5. 选择待下载文件的桶，下载文件。
   • 如果md5校验成功，则文件下载成功。
   • 如果md5校验失败，则文件下载失败，且在任务管理中提示失败原因：校验文件md5失败。

obs sdk对待下载对象的自定义元数据中的md5值和下载到本地的对象的md5值进行对比，通过对比结果判断下载对象的一致性。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

stringendpoint="https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
stringak=system.getenv("access_key_id");
stringsk=system.getenv("secret_access_key_id");
// 创建obsclient实例
finalobsclientobsclient=newobsclient(ak,sk,endpoint);
// 获取对象的md5值
objectmetadatametadata=obsclient.getobjectmetadata("mytestbucket","test.txt");
stringmd5origin=metadata.getusermetadata("contentmd5");
// 计算下载后对象的md5值
obsobjectobsobject=obsclient.getobject("mytestbucket","test.txt");
stringmd5download=obsclient.base64md5(obsobject.getobjectcontent());
// 对比md5值
if(md5origin.contentequals(md5download))
system.out.println("object md5 validation passes!\n");
else
system.out.println("object md5 validation failed!\n");