SKLCC’s 藏经阁

We are SKLCCers, we share our knowledge with each other.

GFS简介

| Comments

From Andy at SuZhou sklcc.com

Overview

  • 0x01 背景和简介
  • 0x02 逻辑结构与基本概念
  • 0x03 读、写、删、HA
  • 0x04 其他细节
  • 0x05 测试数据
  • 0x06 结束语

背景和简介

GFS即Google File System,出自Google在SOSP(2003)的一篇论文《The Google File System》,为Google三宝之一,其余还有Map Reduce和Big Table,当前很火的Hadoop系统中的HDFS、MapReduce和HBase就是其开源实现。由于Hadoop离线批处理的性质以及其他缺点,Google于2014年6月发布其Google Data Cloud服务,该服务支持实时操作和更复杂的逻辑处理,并且效率也有提升。据说在Google公司内部,之后的代码都运行在这个新平台上。Spark为其开源实现。本质上说Spark仍旧是MapReduce和批处理,只是分的更小更细。另外,大数据的实时处理系统还有Storm。

你好,中国

| Comments

From Mike at Hangzhou mogujie.com

你只看到我的代码,却没看到我的努力,你有你的IDE,我有我的作VIM,你嘲笑我 码不够优雅不配部署,我可怜你总是bug。你可以轻视我们的代码,我们会证明这是 谁的时代。Coding是注定快乐的旅行,路上总少不了开黑和开撸,但那又怎样。哪怕 挂机,也要挂得平静 我是SKLCCER,我为自己码码。不在乎别人的感受,我只在乎, 我的代码不出bug。

言归正传,对于技术,乍之初欢,不如久处不厌。前路光明。何不拿起键盘,握紧鼠标, 来一场痛快的脑暴,用一个下午的时间,写一个曾经里一直想写却没写的东西。不做高大上, 只把一个简单的东西做到极致。这就是SKLCC。君子之学,死而后已。

如何在Linux上新建一个Service

| Comments

From Andy, Jackson at SuZhou sklcc.com

简介

linux中的service是用于方便对系统服务进行统一标准的管理,比如启动(start),停止(stop),重启(restart)和查看状态(status)等。

service本身命令是一个shell脚本。它在/etc/init.d/目录中查找指定的服务脚本,然后调用该服务脚本进行服务。例如当我们输入service ssh status时,service程序其实是调用/etc/init.d/ssh脚本来完成获取sshd状态的功能。所以service ssh status也等同于/etc/init.d/ssh status

有时候我们需要某个程序能够开机自启动,例如apache程序。同时又要求程序在运行中可以随时停止,重启和查看状态。

这时写一个脚本,并把它注册为一个service,就变得非常有用。

如何在Linux后台运行一个程序

| Comments

From Andy at SuZhou sklcc.com

我们经常会遇到这么一种情况:ssh/telnet到远程的一台主机,然后执行了一个需要长时间运行的程序,但是由于网络原因导致连接不稳定,在当连接断了之后,我们在远端主机上运行的这个程序也会被终止。这时我们就希望能把它转至后台运行,并且当客户端失去连接之后也不会中断程序。

一般后台运行

要让一个程序在后台运行有好几种方法,首先就是ctrl+z,使用ctrl+z会让程序暂时挂起在后台,然后可以看到系统提示:

[1]+ Stopped /root/bin/rsync.sh

其中’[1]‘是后台作业号,我们可以通过使用bg命令来让它在后台运行:bg 1 # bg + 后台作业号,然后我们可以通过jobs命令来查看所有后台程序的运行状态