快速高效的文件存储,
让您轻松应对海量数据快速增长带来的存储挑战 点击访问开源项目

Bonree BRFS分布式文件存储系统

什么是Bonree BRFS?

Bonree BRFS是一个分布式文件系统,支持海量文件(大文件及小文件快照、图片、语音等)存储,它具有高可用、高性能、易扩展等特性。Bonree BRFS对存储的文件格式没有限制和要求,任何格式的文件都会以byte字节流的方式进行存储。此系统功能不仅包含了现有其他开源产品具备的权限控制、数据增删读、多副本备份、数据检验等基础功能,同时我们还设计了独特且高效的副本自动迁移和平衡策略、多应用数据隔离且独立配置、自定义文件名、系统资源管理插件、集群状态可视化监控与报警等功能。

一般来说,一个Bonree BRFS系统包含如下三个部分:

FS_Server.jar

在集群每个节点上运行的核心服务模块。在模块运行时会启动若干ReginNode(管理节点)和DataNode(数据节点)进程来提供服务。其中ReginNode进程主要职责是管理存储域元信息、管理数据节点、把用户数据分配到不同的数据节点上进行处理;DataNode进程主要职责是用户数据文件的写入和读取、副本自动平衡恢复、执行定时任务(副本数校验、CRC校验、数据删除、数据归并)执行等。

FS_ResouceManager.jar

系统资源管理模块,用于实时收集和监控集群各节点资源负载情况,以支持系统可根据节点负载情况分配资源,解决各节点资源利用和负载不均衡问题。Bonree BRFS系统内部默认提供了一组资源管理的策略,主要包含CPU、内存、I/O、磁盘容量等负载指标。目前此模块采用可热插拔的设计方式,但如果用户有特殊需求,可自定义此插件,自行实现集群资源的分配和管理。

server.properties.example

用于后台服务运行时所有的关键控制参数的默认值配置,如果想变更参数值,可以复制一个名为server.properties的文件,并把需要修改的属性和值添加到此文件中即可,程序运行时server.properties文件中的配置的参数值会覆盖server.properties.example文件中参数的默认值。

同时,用户如需调用Bonree BRFS服务,则需要在工程中引入FS_Client.jar,并在代码中调用相关的接口对Bonree BRFS系统进行操作; Bonree BRFS分布式文件系统接收的数据形式可以是快照、图片或者任何以byte数组方式进行存储的数据文件。
Bonree BRFS具备高性能
系统架构

Bonree BRFS由RegionNode和DataNode组成

RegionNode主要负责数据的接收写入、查询及副本管理,当客户端将数据写入RegionNode后,它会进行将数据进行节点分配,然后发送给DataNode进行数据写入。当用户查询数据时,它会根据文件ID去找对应的DataNode查询文件返回给用户。当机器故障时,它会生成副本迁移任务放在zookkeeper上,DataNode会根据任务执行数据迁移。 DataNode主要负责数据存储及查询,当它接收到数据后,会将数据存储在本地文件。当RegionNode发送文件查询请求时,他会查询对应的文件数据返回给RegionNode。
价值
其他产品