cloudfs解决oss挂载问题

http://www.cloudtalkers.com/?page_id=382

介绍

CloudFS是深圳市云语科技有限公司(www.cloudtalkers.com)开发的一套实现将阿里云OSS bucket挂载成为阿里云ECS服务器本地盘功能的软件,方便广大阿里云用户方便快捷的使用OSS。

cloudfs已经开源,代码下载地址:http://git.oschina.net/weiweibaba2007/cloudfs

cloudfs安装

cloudfs 依赖软件安装

CentOS 6.5
yum install libcurl libcurl-devel openssl-devel fuse fuse-libs fuse-devel libxml2-devel git?gcc g++ make
Ubuntu 14.04
apt-get update
apt-get install libcurl4-openssl-dev libssl-dev pkg-config libxml2 libxml2-dev libfuse-dev git?gcc g++ make

cloudfs 代码下载编译

git clone https://git.oschina.net/weiweibaba2007/cloudfs.git
cd cloudfs/cloudfs_src/
make pack
上述命令成功执行后,在当前目录会生成一个pack目录和cloudfs_linux版本.tar.gz,其中pack目录包含了安装需要的文件,
cloudfs_linux版本.tar.gz是pack目录压缩打包后的文件;

cloudfs 安装

CentOS 6.5 或 Ubuntu 14.04 安装

cloudfs 在?CentOS 6.5 和?Ubuntu 14.04发行版上已经有一键式的自动安装脚本,安装相对简单。

cd pack/
./CloudFS_Install.sh INSTALL_DIR=安装目录 MOUNT_POINT=挂载目录
按照命令行提示,即可完成安装。
注:
  • 安装目录:cloudfs运行软件、配置文件所安装的目录,如果用户不选择,默认安装到;
  • 挂载目录:cloudfs将用户的OSS映射到本地的目录;

其他Linux发行版安装

自动安装主要完成下述事情:
1)系统自启动
2)支持发行版的 service 命令 start/stop/status 等
高级用户可参考 cloudfs手工安装帮助?自行开发相关脚本

ECS和OSS链接工具

https://github.com/aliyun/ossfs

OSSFS

Version Build Status

简介

ossfs 能让您在Linux/Mac OS X 系统中把Aliyun OSS bucket 挂载到本地文件 系统中,您能够便捷的通过本地文件系统操作OSS 上的对象,实现数据的共享。

功能

ossfs 基于s3fs 构建,具有s3fs 的全部功能。主要功能包括:

  • 支持POSIX 文件系统的大部分功能,包括文件读写,目录,链接操作,权限, uid/gid,以及扩展属性(extended attributes)
  • 通过OSS 的multipart 功能上传大文件。
  • MD5 校验保证数据完整性。

安装

预编译的安装包

我们为常见的linux发行版制作了安装包:

  • Ubuntu-14.04
  • CentOS-7.0/6.5/5.11

请从版本发布页面选择对应的安装包下载安装,建议选择最新版本。

  • 对于Ubuntu,安装命令为:
sudo apt-get update
sudo apt-get install gdebi-core
sudo gdebi your_ossfs_package
  • 对于CentOS6.5及以上,安装命令为:
sudo yum localinstall your_ossfs_package
  • 对于CentOS5,安装命令为:
sudo yum localinstall your_ossfs_package --nogpgcheck

源码安装

如果没有找到对应的安装包,您也可以自行编译安装。编译前请先安装下列依赖库:

Ubuntu 14.04:

sudo apt-get install automake autotools-dev g++ git libcurl4-gnutls-dev \
                     libfuse-dev libssl-dev libxml2-dev make pkg-config

CentOS 7.0:

sudo yum install automake gcc-c++ git libcurl-devel libxml2-devel \
                 fuse-devel make openssl-devel

然后您可以在github上下载源码并编译安装:

git clone https://github.com/aliyun/ossfs.git
cd ossfs
./autogen.sh
./configure
make
sudo make install

运行

设置bucket name, access key/id信息,将其存放在/etc/passwd-ossfs 文件中, 注意这个文件的权限必须正确设置,建议设为640。

echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs

将oss bucket mount到指定目录

ossfs my-bucket my-mount-point -ourl=my-oss-endpoint

示例

my-bucket这个bucket挂载到/tmp/ossfs目录下,AccessKeyId是faint, AccessKeySecret是123,oss endpoint是http://oss-cn-hangzhou.aliyuncs.com

echo my-bucket:faint:123 > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /tmp/ossfs
ossfs my-bucket /tmp/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com

卸载bucket:

umount /tmp/ossfs # root user
fusermount -u /tmp/ossfs # non-root user

常用设置

  • 使用ossfs --version来查看当前版本,使用ossfs -h来查看可用的参数
  • 如果使用ossfs的机器是阿里云ECS,可以使用内网域名来避免流量收费提高速度
      ossfs my-bucket /tmp/ossfs -ourl=http://oss-cn-hangzhou-internal.aliyuncs.com
    
  • 在linux系统中,updatedb会定期地扫描文件系统,如果不想 ossfs的挂载目录被扫描,可参考FAQ设置跳过挂载目录
  • 如果你没有使用eCryptFs等需要XATTR的文件系统,可 以通过添加-o noxattr参数来提升性能
  • ossfs允许用户指定多组bucket/access_key_id/access_key_secret信息。当 有多组信息,写入passwd-ossfs的信息格式为:
      bucket1:access_key_id1:access_key_secret1
      bucket2:access_key_id2:access_key_secret2
    
  • 生产环境中推荐使用supervisor来启动并监控ossfs进程,使 用方法见FAQ

高级设置

  • 可以添加-f -d参数来让ossfs运行在前台并输出debug日志
  • 可以使用-o kernel_cache参数让ossfs能够利用文件系统的page cache,如 果你有多台机器挂载到同一个bucket,并且要求强一致性,请不要使用此 选项

遇到错误

遇到错误不要慌:) 按如下步骤进行排查:

  1. 如果有打印错误信息,尝试阅读并理解它
  2. 查看/var/log/syslog或者/var/log/messages中有无相关信息
    grep 's3fs' /var/log/syslog
    grep 'ossfs' /var/log/syslog
    
  3. 重新挂载ossfs,打开debug log:
    ossfs ... -o dbglevel=debug -f -d > /tmp/fs.log 2>&1
    

    然后重复你出错的操作,出错后将/tmp/fs.log保留,自己查看或者发给我

局限性

ossfs提供的功能和性能和本地文件系统相比,具有一些局限性。具体包括:

  • 随机或者追加写文件会导致整个文件的重写。
  • 元数据操作,例如list directory,性能较差,因为需要远程访问oss服务器。
  • 文件/文件夹的rename操作不是原子的。
  • 多个客户端挂载同一个oss bucket时,依赖用户自行协调各个客户端的行为。例如避免多个客户端写同一个文件等等。
  • 不支持hard link。
  • 不适合用在高并发读/写的场景,这样会让系统的load升高

参与开发

  1. 开发流程参考:https://github.com/rockuw/oss-sdk-status#development-oss-members-only
  2. 提交代码后,确保travis CI是PASS的
  3. 每发布一个新的版本:
    • 运行scripts/build-pkg.py生成相应的安装包
    • Release页面发布一个版本
    • 将生成的安装包上传到相应的Release下面

常见问题

FAQ

相关链接

  • ossfs wiki
  • s3fs – 通过fuse接口,mount s3 bucket到本地文件系统。

联系我们

License

Copyright (C) 2010 Randy Rizun rrizun@gmail.com

Copyright (C) 2015 Haoran Yang yangzhuodog1982@gmail.com

Licensed under the GNU GPL version 2

使用lnmp+owncloud+ossfs+oss搭建属于自己的私有云盘

准备工作

安装lnmp架构

其实owncloud官方更加推荐lamp,但是我个人更喜欢nginx,要比Apache省资源一些,能够用Apache的也很不错,可以少踩很多配置的坑,owncloud的nginx官方示例配置很多坑,之后会说到

安装ossfs

注意:在这之前你需要先开通oss,最好是和你的ECS是一个地区的,当然不是用的ECS也可以用,只是速度会慢一些,还有就是下载会使用公网流量,上传没有

1.点击打开ossfs的下载页面下载对应系统的安装包
2.我已Ubuntu为例,安装ossfs,其他系统看官方的文档就行

sudo apt-get update
sudo apt-get install gdebi-core
sudo gdebi your_ossfs_package

3.将my-bucket这个bucket挂载到/data/cloud目录下,AccessKeyId是faint, AccessKeySecret是123,oss endpoint是http://oss-cn-hangzhou.aliyuncs.com

echo my-bucket:faint:123 > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /data/cloud

最后一步很重要,不能直接照官方文档上面的来,不然安装owncloud的时候可能会出现没有访问权限的问题

  • 首先先看一下nginx的用户id,以我的是www为例
id www

会返回给你用户的uid和gid等等,我假设返回的uid和gid都为1001

ossfs my-bucket /data/cloud -ourl=http://oss-cn-hangzhou-internal.aliyuncs.com -ouid=1001 -ogid=1001 -o allow_other -o umask=007

这里面allow_other是允许其他用户访问,但是默认设置的是777权限这样owncloud会提示不安全,用umask=007挂载为770权限,不知道为啥这里0代表7,7表示0

到这里ossfs就安装完毕了下面开始安装owncloud

安装OWNCLOUD

owncloud的安装网上已经有很多的教程我就不多说了

先打开owncloud的官网的服务器端的安装地址,我安装的时候最新稳定版是9.0.2建议国内主机用迅雷之类的下载软件先下载下来上传到服务器,直接wget比较慢

1.下载并解压

wget  https://download.owncloud.org/community/owncloud-9.0.2.tar.bz2 //手动上传这一步就不用了
tar xvf owncloud-9.0.2.tar.bz2 //以实际的文件名为准

2.移动到站点目录,假设站点目录为/data/wwwroot

 mv owncloud/ /data/wwwroot/

3.设置目录权限,这一步很重要

chown -R www:www /data/wwwroot/owncloud/
chmod 777 /data/wwwroot/owncloud//config/

设置nginx规则(Apache基本不用改,只需要自己去设置一下ssl,和常规的设置就行了)

注意规则设置好之后,安装的时候点高级设置,使用mysql或者其他数据库,sqllite的性能不够,然后就是数据文件目录填写之前你ossfs的挂载目录,我之前挂载的是/data/cloud

后面有9.x官方的示例,我这儿提示一下有些坑的地方

1.本身的设置里面没有log的设置,不方便debug,access_log可以不用,error_log还是需要加上的
2.里面没有index的设置,如果打开首页一片空白,加上index.php之后没有问题的话,

  location / {
        index index.php #加上这一句
        rewrite ^ /index.php$uri;
  }

3.如果你进入安装页面,按照提示安装好了之后出现说找不到文件目录之类的话,那么很有可能是你没有开启pathinfo,owncloud需要pathinfo的支持(示例的配置里面是有pathinfo的设置的)

NEXT

到这里基本上owncloud的安装应该就结束了,使用也没有什么问题,我建议开启ssl,不知道为什么,我开了ssl之后访问的速度提升了好几倍

附送官方插件的地址点我点我,国内主机在线安装插件可能装不上,可以FQ之后在这里面下载相应插件包,上传到apps目录下即可,下一篇说一下用owncloud实现离线下载功能,现在9.0.2版本的使用owncloud的离线下载插件有问题,但是看了一下这个bug很早就有,只是好像一直没有修复。之后我改一下能够用了再写下一篇吧

9.x官方示例

 upstream php-handler {
    server 127.0.0.1:9000; #注意一下你自己的php服务设置,这一行可能需要自己调整
    #server unix:/var/run/php5-fpm.sock;
}
server {
    listen 80;
    server_name cloud.example.com;
    # enforce https
    return 301 https://$server_name$request_uri;
}
server {
    listen 443 ssl;
    server_name cloud.example.com;

    #ssl证书的位置
    ssl_certificate /etc/ssl/nginx/cloud.example.com.crt;
    ssl_certificate_key /etc/ssl/nginx/cloud.example.com.key;

    # Add headers to serve security related headers
    # Before enabling Strict-Transport-Security headers please read into this
    # topic first.

    # 安装好之后,后台可能会提示相应错误,把这一段的注释去掉就行
    # add_header Strict-Transport-Security "max-age=15768000;
    # includeSubDomains; preload;";

    #后面安装好了之后后台可能会提示header的错误,把这一短删除掉即可
    add_header X-Content-Type-Options nosniff;
    add_header X-Frame-Options "SAMEORIGIN";
    add_header X-XSS-Protection "1; mode=block";
    add_header X-Robots-Tag none;
    add_header X-Download-Options noopen;
    add_header X-Permitted-Cross-Domain-Policies none;

    # Path to the root of your installation
    root /var/www/owncloud/;

    location = /robots.txt {
        allow all;
        log_not_found off;
        access_log off;
    }

    # The following 2 rules are only needed for the user_webfinger app.
    # Uncomment it if you're planning to use this app.
    #rewrite ^/.well-known/host-meta /public.php?service=host-meta last;
    #rewrite ^/.well-known/host-meta.json /public.php?service=host-meta-json
    # last;

    location = /.well-known/carddav { return 301
     $scheme://$host/remote.php/dav; }
    location = /.well-known/caldav { return 301
     $scheme://$host/remote.php/dav; }

    location /.well-known/acme-challenge { }

    # set max upload size
    client_max_body_size 512M;
    fastcgi_buffers 64 4K;

    # Disable gzip to avoid the removal of the ETag header
    gzip off;

    # Uncomment if your server is build with the ngx_pagespeed module
    # This module is currently not supported.
    #pagespeed off;

    error_page 403 /core/templates/403.php;
    error_page 404 /core/templates/404.php;

    location / {
        rewrite ^ /index.php$uri;
    }

    location ~ ^/(?:build|tests|config|lib|3rdparty|templates|data)/ {
        deny all;
    }
    location ~ ^/(?:\.|autotest|occ|issue|indie|db_|console) {
        deny all;
    }

    location ~
    ^/(?:index|remote|public|cron|core/ajax/update|status|ocs/v[12]|updater
    /.+|ocs-provider/.+|core/templates/40[34])\.php(?:$|/) {
        include fastcgi_params;
        fastcgi_split_path_info ^(.+\.php)(/.+)$;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        fastcgi_param PATH_INFO $fastcgi_path_info;
        fastcgi_param HTTPS on;
        #Avoid sending the security headers twice
        fastcgi_param modHeadersAvailable true;
        fastcgi_param front_controller_active true;
        fastcgi_pass php-handler;
        fastcgi_intercept_errors on;
        fastcgi_request_buffering off;
    }

    location ~ ^/(?:updater|ocs-provider)(?:$|/) {
        try_files $uri/ =404;
        index index.php;
    }

    # Adding the cache control header for js and css files
    # Make sure it is BELOW the PHP block
    location ~* \.(?:css|js)$ {
        try_files $uri /index.php$uri$is_args$args;
        add_header Cache-Control "public, max-age=7200";
        # Add headers to serve security related headers (It is intended to
        # have those duplicated to the ones above)
        # Before enabling Strict-Transport-Security headers please read into
        # this topic first.
        # add_header Strict-Transport-Security "max-age=15768000;
        #  includeSubDomains; preload;";
        add_header X-Content-Type-Options nosniff;
        add_header X-Frame-Options "SAMEORIGIN";
        add_header X-XSS-Protection "1; mode=block";
        add_header X-Robots-Tag none;
        add_header X-Download-Options noopen;
        add_header X-Permitted-Cross-Domain-Policies none;
        # Optional: Don't log access to assets
        access_log off;
    }

    location ~* \.(?:svg|gif|png|html|ttf|woff|ico|jpg|jpeg)$ {
        try_files $uri /index.php$uri$is_args$args;
        # Optional: Don't log access to other assets
        access_log off;
    }
}

CentOS下利用OSSFS把阿里云OSS挂载到ECS进行加速

部落之前介绍过七牛云存储,而阿里云OSS同样是对象存储服务,和七牛云存储等类似,也算是一个免费的CDN了,价格也比较便宜,最近发现一个工具OSSFS,我们利用这个工具,可以将OSS挂载到阿里云ECS服务器上,可以达到存储/备份的目的.当然,最主要的是可以减轻服务器的压力.

OSSFS功能

这里部落先补充一下,具体的介绍,我们可以在github项目上查看,地址是:由此直达.

ossfs 能让您在Linux/Mac OS X 系统中把Aliyun OSS bucket 挂载到本地文件 系统中,您能够便捷的通过本地文件系统操作OSS 上的对象,实现数据的共享.

1.支持POSIX 文件系统的大部分功能,包括文件读写,目录,链接操作,权限, uid/gid,以及扩展属性(extended attributes)

2.通过OSS 的multipart 功能上传大文件.

3.MD5 校验保证数据完整性.

OSSFS的安装

SSH连接到服务器,分别执行下面的命令:

  1. wget?https://github.com/aliyun/ossfs/releases/download/v1.79.9/ossfs_1.79.9_centos6.5_x86_64.rpm
  2. sudo?yum?localinstall?ossfs_1.79.9_centos6.5_x86_64.rpm

运行与示例

1.设置bucket name, access key/id信息,将其存放在/etc/passwd-ossfs 文件中, 注意这个文件的权限必须正确设置,建议设为640.

  1. echo?my-bucket:my-access-key-id:my-access-key-secret?>?/etc/passwd-ossfs
  2. chmod?640?/etc/passwd-ossfs

2.将oss bucket mount到指定目录

  1. ossfs?my-bucket?my-mount-point?-ourl=my-oss-endpoint

CentOS下利用OSSFS把阿里云OSS挂载到ECS进行加速

再指定AccessKeyId

CentOS下利用OSSFS把阿里云OSS挂载到ECS进行加速

下面是将华东 1 (杭州)bucket名字为xiaoz,AccessKeyId是faint, AccessKeySecret是123,oss endpoint是http://oss-cn-hangzhou-internal.aliyuncs.com(内网)挂载到/home/ossfs目录.

Endpoint对照表请访问:OSS开通Region和Endpoint对照表查看.

  1. echo?xiaoz:faint:123?>?/etc/passwd-ossfs
  2. chmod?640?/etc/passwd-ossfs
  3. mkdir?/home/ossfs
  4. ossfs?xiaoz?/home/ossfs?-ourl=http://oss-cn-hangzhou-internal.aliyuncs.com

取消挂载

直接输入umount /home/ossfs即可

OSS不仅可以通过内网还可以通过公网挂载,如果您在阿里云同时购买了同一个区域的ECS和OSS那么将OSS挂载到内网用于达到文件存储或备份的目的,下面是挂载后的截图,如下:

CentOS下利用OSSFS把阿里云OSS挂载到ECS进行加速

另外,部落在官方的介绍页面上看到:如果使用ossfs的机器是阿里云ECS,可以使用内网域名来避免流量收费和提高速度,设置如下:

  1. ossfs?my-bucket?/tmp/ossfs?-ourl=http://oss-cn-hangzhou-internal.aliyuncs.com

 

 

小结

如果您还没有使用过阿里云OSS,而刚好又是使用的阿里云的主机,那么可以试试这个,目前有免费的存储空间,不过不多,后面有可能会收费.