wenfengsun

facebook将他们的thrift开源，thrift是一个用于不同系统间通信的协议，它大大提高了系统间数据通信的效率。more about thrift

thrift为linux和windows都提供了相应的gen命令，安装之后只需要调用thrift命令就可以生产对应语言的程序。
thrift生成的java源文件主要是描述object和interface，实现接口的代码需要自己实现；
下面是一个简单的例子，通过定义一个message，和一个获取message对象的接口，来实现client获取数据对象的结果。
首先要定义thrift脚本，thrift的基本介绍：

基本名词

• Types： 为了满足多语言平台的要求，需要提供基本数据类型来进行转换。比如在C++的Map和Python的Dict之间能够相互转换。
• Transport: 对于每一种语言，都应该有一个抽象的公共层来完成对应的双向数据传输。
• Protocal： 数据需要有一种方式来使用对应的传输层的code，而不用关心传输层的具体实现细节。
• Versioning：数据需要有自己的版本号来实现对应的健壮性。
• Processing ： 产生code来完成RPC调用。

类型
1. Goals：

• 1. 使用最基本的数据类型，不管上层使用怎么样的编程语言。
• 2. 不使用动态数据类型，也不需要开发者写对象序列化或者传输的代码(已经封装)。
• 3. IDL 用来告诉代码生成器如何在多语言之上安全地传输数据。

2. Base Types：

• 1. 选取了大多数语言中都存在的基本数据类型，忽略了一些语言中特别的类型。(无符号类型)， 所有的基本
• 类型都是有符号的。
• 2. 基本类型包括bool， byte，i16，i32，i64，double，string。分别对应java中的boolean，byte，short，int，long，double，String

3. Structs：

• 1. 提供了一种common的对象来代表面向对象语言中的对象类型，每一个filed都有一个标志符。
• 2. 每个filed必须有一个标志符和一个给定的默认值。标志符如果没有给定的话，会自动分配一个，但是强烈建议给定标志符，为了方便版本控制。

4. Container：

• 1. List， set， Map。其中List被翻译成STL中的vector， 或者Java中的ArrayList，set和map类似。
• 2. 要求对应的基本语言类型支持对应的Thrift的基本数据类型。
• 3. 在每一种目标语言中，对于每一种定义的类型，生成两个接口，read和write，用于序列化和传输对应的数据结构。

5. Exceptions：

• 1. 使用Exception关键字来代替对应的structs关键字，得到对应的基本类。
• 2. 生成的对象继承自每一种语言中的对应的Exception的基类。

6. Services：

• 1. 提供了服务端的接口调用，通过代码生成器会生成Client端和Server端的桩函数接口，共上层调用使用。
• 2. 在每一个函数前面可以加上async关键字，这个关键字能够实现对应的一部方法。
• 3. 一个纯void函数也会返回一个response，用来保证该操作在服务端已经被执行。
• 4. async call只保证消息在传输层是没有问题的，因此，在使用async的时候需要保证当前的使用环境对于丢包是可以接受的。

3. Transport
1. 接口

• 1. 传输层用来促进数据传输。一个关键的设计是Thrift将数据传输层和代码生成器分开。
• 2. 由于抽象的IO炒作产生的tradoff相比起实际的IO操作显得微不足道。
• 3. 需要满足的基本功能：如何读写数据，不管是在网络中，还是共享内存，还是从磁盘文件中读写。
• 4. 提供的接口如下：open， close，isOpen, read, write, flush。还有一些用于batch操作的接口
• 5. 对于TServerTransport，还有接口用来创建对应的Transport对象。如open， listen, accept, close。

2. 实现

• 1. TSocket 类对于TCP/IP的流式套接字实现了一个通用，简单的接口。
• 2. TFileTransport类实现了一个抽象接口，用于将磁盘文件导入到数据流中。

3. Utilities

• 1. 网络传输层设计的支持简单的扩展，比如组合，TBufferdTransport实现在传输层实现了buffer的功能，TFrameTransport实现了数据头定长大小，用于Noblocking传输。TMemoryBuffer允许读和写直接在进程的堆顶完成。

4. Protocal
1. 接口

• 1. 另外一块主要的部分是thrift中将数据结构和传输层分离，thrift定义了一些传输时的基本类型，但是没有强制定义需要实现的编码格式，只要能被代码生成器识别就好。
• 2. thrift协议的接口简单明了，支持两种功能：双向有序的消息，基本类型，容器，结构的编码。

2. 结构

• 1. Thrift中默认使用流式结构来传输对应的协议，这样避免了因为需要分片或者在发送前整体计算带来的性能损失。当有的场景需要使用分片，或者分片的性能优势更加明显的时候，可以使用TFramedTransport这个抽象接口类。

3. 实现

• 1. Thrift的实现了一个空间高效的二进制协议，所有的数据都以一个扁平的二进制格式存在，整形被转换为网络字节序，字符串在头上加上它的长度，所有的消息和field 头都用它的整数序列号，忽略这些filed中的字符串名字。
• 2. 我们没有做过多的性能优化，为了代码的整洁和高效。如果有需要，可以加入这些优化方案。

5.Versioning
1. 域标志符

• 1. Thrift在版本控制上面是健壮的，它可以接受旧客户端过来的请求并正确处理。
• 2. Thrift中的版本控制是通过域标志符来确定的，thrift结构中的每一项前面都有一个对应的标志符，标志符和数据类型唯一化开item。
• 3. 为了避免冲突，自动分配的标志符从-1开始递减，人工定义的标志符只能为整数。
• 4. 在数据是自定义的前提下，当反序列化的时候，thrift的code 生成器可以根据标识符来判断读取到的数据是否对齐，也可以跳过不能识别的域，保证兼容性。
• 5. 域标志符也可以在参数列表中声。

2. Isset

• 1. 用来标注必须存在于结构体中的域，如果必须存在，标注为true，这样可以当该域不存在的时候，可以通知上层调用者。

3. 场景分析
1. 4种场景，加减域/新旧client或者server。
4. Protocal/Transport Versioning
1. 实现了TProtocal的抽象接口，用来让协议的实现自己来管理版本。
6. RPC 实现
1. TProcessor
1. 核心类，抽象出client和server的基类，核心功能是处理input和output。
2. Generated code
2. 自动生成client端和server端的调用接口。
3. TServer
1. Tserver 可以有多种实现，来满足不同的需求。如单线程的TSimpleServer, 每个连接一个线程的TThreadedServer， 还有基于线程库的TThreadPoolServer.
2. 开发者可以实现自己的TServer。
下面是message的简单例子：
1. 定义message.thrift
namespace java com.company.thrift.model
struct Message {
1: i64 id,
2: string body,
3: string content,
4: i64 userId,
5: string picpath,
}
2. 定义service
namespace java com.company.thrift
include "message.thrift"
service MessageService{
message.Message getMessage(1: i64 id);
}
3. 执行生成命令
# thrift –gen java message.thrift
# thrift –gen java messageService.thrift
将生成的Message.java和messageService.java拷贝到你的工程中。
4. 编写接口实现：
public class MessageServiceImpl implements MessageService.Iface{

@Override
public Message getMessage(long id) throws TException {
Message message = new Message();
message.setId(id);
message.setBody(“Test body value”);
message.setContent(“”);
message.setPicpath(“http://www.google.com.hk/images/nav_logo86.png”);
message.setUserId(1001);
return message;
}

}
5. 编写服务器端调用
import org.apache.thrift.protocol.TBinaryProtocol;
import org.apache.thrift.protocol.TBinaryProtocol.Factory;
import org.apache.thrift.server.TServer;
import org.apache.thrift.server.TThreadPoolServer;
import org.apache.thrift.server.TThreadPoolServer.Args;
import org.apache.thrift.transport.TServerSocket;
import org.apache.thrift.transport.TTransportException;

import com.conpany.thrift.MessageService.Processor;

public class Server {
public void startServer() {
try {
TServerSocket serverTransport = new TServerSocket(1234);
MessageService.Processor process = new Processor(new MessageServiceImpl());
Factory portFactory = new TBinaryProtocol.Factory(true, true);
Args args = new Args(serverTransport);
args.processor(process);
args.protocolFactory(portFactory);
TServer server = new TThreadPoolServer(args);
server.serve();
} catch (TTransportException e) {
e.printStackTrace();
}
}

public static void main(String[] args) {
Server server = new Server();
server.startServer();
}
}
6. 编写客户端代码：
public class Client {
public void startClient() {
TTransport transport;
try {
transport = new TSocket("localhost", 1234);
TProtocol protocol = new TBinaryProtocol(transport);
MessageService.Client client = new MessageService.Client(protocol);
transport.open();
Message msg = client.getMessage(1020);
System.out.println(msg);
transport.close();
} catch (TTransportException e) {
e.printStackTrace();
} catch (TException e) {
e.printStackTrace();
}
}

public static void main(String[] args) {
Client client = new Client();
client.startClient();
}
}
7. 启动Server，并执行客户端代码，可以看到客户端会打印一行服务器生成的message数据

Message(id:1020, body:Test body value, content:, userId:1001, picpath:http://www.google.com.hk/images/nav_logo86.png)