七层网络模型和tcp/ip四层模型

ysq | 云计算, 服务端开发 | 2016-07-14
7——应用层 6——表示层 5——会话层 4——传输层 3——网络层 2——数据链路层 1——物理层             层 相关参考 协议 作用 7 应用层 提供为应用软件而设的界面,以设置与另一应用软件之间的通信。例如: HTTP,HTTPS,FTP,TELNET,SSH,SMTP,POP3等 网络进程到应用程序 6 表示层 数据格式化,代码转换,数据加密 没... [阅读全文]

分布式系统常用思想和技术总结

ysq | 云计算, 服务端开发 | 2016-07-14
一、分布式系统的难点 分布式系统比起单机系统存在哪些难点呢? 1. 网络因素 由于服务和数据分布在不同的机器上,每次交互都需要跨机器运行,这带来如下几个问题: 1. 网络延迟:性能、超时 同机房的网络IO还是比较块的,但是跨机房,尤其是跨IDC,网络IO就成为不可忽视的性能瓶颈了。并且,延迟不是带宽,带宽可以随便增加,千兆网卡换成万兆,只是成... [阅读全文]
ė917 views 61条评论 0

大数据平台学习笔记

ysq | 大数据 | 2016-06-03
大数据平台学习笔记 April 8, 2016 数据接入 主要负责数据的收集,分发,预处理以及管理工作 Scribe/Flume, Kafka 离线计算平台 Hadoop 三种任务(Job) Map-Reduce Job Hive Job Pig Job 实时计算平台 Storm(JStorm), Samza, Spark, Flink 在线流式计算 资源管理和调度 YARN, Mesos 任务调度系统 Ooize azkaban 数据存储引擎 ... [阅读全文]
ė1,231 views 6没有评论 0,

GFS(待完善)

ysq | 云计算 | 2016-05-10
三大系统的架构 关键点:文件分块存储(默认64M) ... Master只记录文件块存储的服务器,而由ChunkServer保存文件块和每个文件块的索引 3->client 选择离的最近的server0(不管是Primary还是Secendary)开始缓存数据,然后server0将数据发送到其他两个节点, 所有数据缓存完毕后,primary通知secendary开始同时写入,写入完毕后通知client,如果... [阅读全文]
ė180 views 6没有评论 0

零基础学习 Hadoop 该如何下手

ysq | 大数据 | 2015-10-15
转自知乎:Han Hsiao 推荐一些Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。 一、学习路线图 Hadoop家族学习路线图 开篇必读 Hive学习路线图 Mahout学习... [阅读全文]
ė852 views 6没有评论 0

Windows下Hadoop编程环境配置指南

ysq | 云计算与大数据 | 2015-10-12
Windows下Hadoop编程环境配置指南本博客记录作者在工作与研究中所经历的点滴,一方面给自己的工作与生活留下印记,另一方面若是能对大家有所帮助,则幸甚至哉矣! 简介 鉴于最近在研究Hadoop编程时,为考虑编程的方便,在Windows本地编译源程序,然后直接访问Hadoop集群,这样给广大编程人员提供了极大的便利。在这个过程中积累了一些实际经验,并针对在... [阅读全文]
ė479 views 6没有评论 0
Ɣ回顶部