kaiyun全站网页版登录 FastDFS_v5.05+nginx+cache集群安装配置手册

发布于:25-07-31 播放次数:

引用内容须注明来源:http://www.cnblogs.com/hd3013779515/

1.FastDFS简单介绍

余庆先生是淘宝的工程师,他研发了FastDFS。这是一个轻量级且性能卓越的开源分布式文件系统。它完全采用C语言编写,具备文件存储、同步、访问(包括上传和下载)、负载均衡、在线扩容以及存储重复内容仅一份等特性。特别适用于那些对大容量存储有需求的应用或系统。在进行分布式系统开发的过程中,我们面临的一个关键挑战是处理图片、音视频以及文件的共享问题。幸运的是,分布式文件系统恰好能够满足这一需求。市面上存在多种类似的分布式文件系统,例如谷歌的GFS、Hadoop的HDFS以及淘宝的TFS等。

源码下载链接为https://github.com/happyfish100,早期版本源码可从https://sourceforge.net/projects/fastdfs/files/获取,官方论坛网址为http://bbs.chinaunix.net/forum-240-1.html。

FastDFS系统架构:FastDFS文件上传流程:

客户向追踪器查询已上传至存储系统的信息,无需额外参数;追踪器随即提供一台可供使用的存储设备;随后,客户直接与该存储设备进行通信,以完成文件的上传过程。

FastDFS文件下载流程:

客户向追踪器查询下载文件的存储位置云开·全站体育app登录,所需参数包括文件标识(即组名与文件名);追踪器随后提供一台可供使用的存储设备;客户随后直接与该存储设备进行通信,以完成文件的下载过程。

术语

FastDFS系统中的两大核心组件分别为:跟踪服务器(Tracker Server)和存储服务器(Storage Server)。跟踪服务器,作为调度中心,主要职能是协调存储节点与客户端之间的通信,实现负载均衡,并监控存储节点的运行状况,它充当着连接客户端与存储节点的重要桥梁。存储服务器,主要功能是存放文件及其元数据;文件组,亦称作卷,是指同一组内的服务器上存储的文件内容完全一致。在构建集群时,通常一个文件组会包含多台服务器。一旦将文件上传至该组内任一服务器,FastDFS便会迅速将该文件同步至组内所有其他服务器,从而实现数据的备份功能。元数据:指代文件的各种属性信息,采用键值对(Key-Value Pair)的形式进行组织,例如:宽度=1024,高度=768。这与阿里云对象存储服务(OSS)中的元数据概念相仿。

2.FastDFS集群环境安装

2.1集群规划

监测负载均衡节点一:IP地址192.168.137.160,对应dfs-nginx-proxy-1;监测负载均衡节点二:IP地址192.168.137.161,对应dfs-nginx-proxy-2;监视跟踪服务器一:IP地址192.168.137.162,对应dfs-tracker-1;监视跟踪服务器二:IP地址192.168.137.163,对应dfs-tracker-2;存储节点一:IP地址192.168.137.164kaiyun全站网页版登录,归属dfs-storage-group1-1;存储节点二:IP地址192.168.137.165,归属dfs-storage-group1-2;存储节点三:IP地址192.168.137.166,归属dfs-storage-group2-1;存储节点四:IP地址192.168.137.167,归属dfs-storage-group2-2;高可用虚拟IP:192.168.137.170;高可用软件:Keepalived;操作系统:CentOS 6.8;用户名:root;数据存储路径:/fastdfs。

2.2安装包

FastDFS_v5.05.tar.gz文件,是FastDFS的源代码。
libfastcommon-master.zip:该文件是从FastDFS与FastDHT中提取而来的,包含了一系列共通的C语言函数库。
fastdfs-nginx-module_v1.16版本压缩包,对应的是存储节点所使用的HTTP服务nginx插件。
nginx-1.6.2.tar.gz:Nginx安装包
nginx缓存清理插件版本2.3,文件名为ngx_cache_purge-2.3.tar.gz。
keepalived-1.2.18.tar.gz:高可用

 

可以从百度网盘下载。

请勿访问该链接,该链接指向的资源需要密码解锁kaiyun.ccm,密码为n757。