dpdk-发送udp包的实现

发送过程的实现

1. 加宏定义ENABLE_SEND，之后在recv.c基础上改的内容都框在 #if ENABLE_SEND 与 #endif间。
2. 定义6个全局变量，分别是：源mac，目的mac，源ip，目的ip，源port，目的port。并且在拆包时给它们依次赋值。

• 从外到里：
• 源mac是虚拟机网卡eth0的mac地址（rte_eth_macaddr_get(gDpdkPortId, (struct rte_ether_addr *)gSrcMac);）从绑定pci地址（dpdk-setup.sh的【49】那一步来的）
• 目的mac是windows的网卡mac地址，从刚刚收到的包的eth中拆出来（rte_memcpy(gDstMac, ehdr->s_addr.addr_bytes, RTE_ETHER_ADDR_LEN);）
• 后四个值是iphdr和udphdr源和目的互换而来 (hdr是header的意思)

3. 发送包，就是拼出完整的字节序列放入tx队列中。
   • 在此过程中需要两个函数：
   • ng_encode_udp_pkt() encode 打包
   • ng_send()：mempool -> mbuf。mempool和mbuf的区别在，内存池是一开始创建出的一大块，之后随用随取， 使用mempool的最小单位是mbuf。

代码

// 位置：share/dpdk-stable-19.08.2/examples/recv_send/recv.c

#include <rte_eal.h>
#include <rte_ethdev.h>
#include <rte_mbuf.h>
#include <arpa/inet.h>

#include <stdio.h>

#define ENABLE_SEND

// 内存池大小，4096-1的含义是超过了4K就放别处
#define NUM_MBUFS (4096-1)

#define BURST_SIZE 32

#ifdef ENABLE_SEND

//这样写不好，但比较清楚，所以暂且用全局变量
static uint32_t gSrcIp;  //形如192.168.3.19，是32位
static uint32_t gDstIp;

static uint8_t gSrcMac[RTE_ETHER_ADDR_LEN]; // 形如08-f4-58-1c-43-20，长度为6的char型数组
static uint8_t gDstMac[RTE_ETHER_ADDR_LEN]; 

static uint16_t gSrcPort; //端口号是16位的
static uint16_t gDstPort;

#endif

int gDpdkPortId = 0;

static const struct rte_eth_conf port_conf_default = {
    .rxmode = {.max_rx_pkt_len = RTE_ETHER_MAX_LEN }
};

// 设置网口接收数据，关联网口和dpdk程序
static void ng_init_port(struct rte_mempool *mbuf_pool) {

    // 1. 检测端口是否可用 （此处要运行dpdk的setup.sh，绑定端口）
    uint16_t nb_sys_ports= rte_eth_dev_count_avail(); //
    if (nb_sys_ports == 0) {
        rte_exit(EXIT_FAILURE, "没找到支持的eth端口\n");
    }

    // 获取 eth0 原生信息，方便后面用
    struct rte_eth_dev_info dev_info;
    rte_eth_dev_info_get(gDpdkPortId, &dev_info); 

    const int num_rx_queues = 1;//最大可用8，在此用1
    const int num_tx_queues = 1;//最大可用8，在此不用，也就是没有发送数据包的中断。因为本文件是recv，只接收不发送
    struct rte_eth_conf port_conf = port_conf_default;
    rte_eth_dev_configure(gDpdkPortId, num_rx_queues, num_tx_queues, &port_conf);


    //启动rx队列
    if (rte_eth_rx_queue_setup(gDpdkPortId, 0 , 1024, //0号接收队列共能囤积128条数据 //为什么改为1024：跟tx对应
        rte_eth_dev_socket_id(gDpdkPortId),NULL, mbuf_pool) < 0) {

        rte_exit(EXIT_FAILURE, "不能启动RX队列\n");

    }

#ifdef ENABLE_SEND
    //启动tx队列
    struct rte_eth_txconf txq_conf = dev_info.default_txconf;
    txq_conf.offloads = port_conf.rxmode.offloads;
    if (rte_eth_tx_queue_setup(gDpdkPortId, 0 , 1024, //0号队列共能囤积128条数据//为什么改为1024：Invalid value for nb_tx_desc(=128), should be: <= 4096, >= 512, and a product of 1
        rte_eth_dev_socket_id(gDpdkPortId),&txq_conf) < 0) {

        rte_exit(EXIT_FAILURE, "不能启动TX队列\n");

    }
#endif

    // 启动
    if (rte_eth_dev_start(gDpdkPortId) < 0 ) {
        rte_exit(EXIT_FAILURE, "无法启动\n");
    }

    rte_eth_promiscuous_enable(gDpdkPortId);

}


#ifdef ENABLE_SEND


static int ng_encode_udp_pkt(uint8_t *msg, unsigned char *data, uint16_t total_len) {
    // 本函数功能：打包（encode）

    // 第一步 ethhdr 这玩意分为三部分：源mac、目的mac、类型
    struct rte_ether_hdr *eth = (struct rte_ether_hdr *)msg;
    rte_memcpy(eth->s_addr.addr_bytes, gSrcMac, RTE_ETHER_ADDR_LEN);
    rte_memcpy(eth->d_addr.addr_bytes, gDstMac, RTE_ETHER_ADDR_LEN);
    // 网络字节序转换：只要是两字节以上就要转换
    eth->ether_type = htons(RTE_ETHER_TYPE_IPV4);

    // 第二步 iphdr 分为……太长了看图吧
    // 首先计算偏移，msg刚刚传进来的类型是指向一个一个char的，可以加上sizeof(struct rte_ether_hdr),再强转为 (struct rte_ipv4_hdr *)类型
    struct rte_ipv4_hdr *ip = (struct rte_ipv4_hdr *)(msg + sizeof(struct rte_ether_hdr));
    ip->version_ihl = 0x45;
    ip->type_of_service = 0;
    ip->total_length = htons(total_len - sizeof(struct rte_ether_hdr));
    ip->packet_id = 0;
    ip->fragment_offset = 0;
    ip->time_to_live = 64;
    ip->next_proto_id = IPPROTO_UDP; //IPPROTO_UDP是内核的
    ip->src_addr = gSrcIp;
    ip->dst_addr = gDstIp;
    ip->hdr_checksum = 0; //不是废话
    ip->hdr_checksum = rte_ipv4_cksum(ip);

    // 第三步 udphdr
    // 首先偏移，同ip的理
    struct rte_udp_hdr *udp = (struct rte_udp_hdr *)(msg + sizeof(struct rte_ether_hdr) + sizeof(struct rte_ipv4_hdr));
    udp->src_port = gSrcPort;
    udp->dst_port = gDstPort;
    uint16_t udplen = total_len - sizeof(struct rte_ether_hdr) - sizeof(struct rte_ipv4_hdr);
    udp->dgram_len = htons(udplen);
    rte_memcpy((uint8_t*)(udp+1), data, udplen);
    udp->dgram_cksum = 0; //不是废话
    udp->dgram_cksum = rte_ipv4_udptcp_cksum(ip, udp);

    //调试

    struct in_addr addr;
    addr.s_addr = gSrcIp;
    printf(" --> src: %s:%d, ", inet_ntoa(addr), gSrcPort);

    addr.s_addr = gDstIp;
    printf("dst: %s:%d\n", inet_ntoa(addr), gDstPort);

    return 0;



}
static struct rte_mbuf * ng_send(struct rte_mempool *mbuf_pool, uint8_t *data, uint16_t length) {
    // 本函数功能：mempool -> mbuf。
    // 解释：mempool和mbuf的区别在，内存池是一开始创建出的一大块，之后随用随取， 使用mempool的最小单位是mbuf。


    const unsigned total_len = 14 + 20 + 8 + length; //mbuf怎么用呢？先要知道从mempool中拿多长的一段(取多少数据)
    struct rte_mbuf *mbuf = rte_pktmbuf_alloc(mbuf_pool); //思考：怎么不带大小？
    if (!mbuf) {
        rte_exit(EXIT_FAILURE, "rte_pktmbuf_alloc出错\n");
    }

    mbuf->pkt_len = total_len;
    mbuf->data_len = total_len; //思考：这两个为什么设成一样的

    uint8_t *pktdata = rte_pktmbuf_mtod(mbuf, uint8_t*); //把刚刚申请的mbuf指向的类型强制转换为一个char一个char的，方便操作

    ng_encode_udp_pkt(pktdata, data, total_len); //pktdata是一个位置，这个函数把编码好的字节们放入pktdata开始的那段位置上
    return mbuf;

}

#endif
int main(int argc, char *argv[]) {

    // 初始化，主要是检查hugepage的设置，内存、cpu的分配等。就是在/usertools/dpdk-setup.sh中的一通设置
    if (rte_eal_init(argc, argv) < 0) {
        rte_exit(EXIT_FAILURE, "Error with EAL init\n");

    }

    // 内存池
    struct rte_mempool *mbuf_pool = rte_pktmbuf_pool_create("mbuf pool", NUM_MBUFS,
        0, 0, RTE_MBUF_DEFAULT_BUF_SIZE, rte_socket_id());
    if (mbuf_pool == NULL) {
        rte_exit(EXIT_FAILURE, "无法创建内存池\n");
    }

    // 端口初始化（实现在上面）这个port是网口的含义并非端口号
    ng_init_port(mbuf_pool);

#ifdef ENABLE_SEND
    rte_eth_macaddr_get(gDpdkPortId, (struct rte_ether_addr *)gSrcMac);
#endif

    while (1) {

        struct rte_mbuf *mbufs[BURST_SIZE]; //数组指针, mbufs尚未分配实际空间，空间从内存池来
        unsigned num_recvd = rte_eth_rx_burst(gDpdkPortId, 0, mbufs, BURST_SIZE);// 接收的是以太网数据帧
                                    // 参数1：端口<注意此端口不是tcp/udp的端口号，而是网络适配器eth0的端口> 
                                    //参数2：从哪个队列接收
                                    //参数3：接收后放到哪
        if (num_recvd > BURST_SIZE) {
            rte_exit(EXIT_FAILURE, "接收出错，溢出\n");
        }



        unsigned i = 0;
        for (i = 0;i < num_recvd;i ++) {

            struct rte_ether_hdr *ehdr = rte_pktmbuf_mtod(mbufs[i], struct rte_ether_hdr*);// rte_pktmbuf_mtod是宏定义。参数1：内存地址 参数2：转换成什么类型
                    //// ehdr就是拿出的以太网数据

            // 此处可看到对接口处理函数封装的已经很完善了
            if (ehdr->ether_type != rte_cpu_to_be_16(RTE_ETHER_TYPE_IPV4)) {
                // 如果不是ip协议，跳过
                rte_pktmbuf_free(mbufs[i]);
                continue;
            }

            // 如果是ip协议,取出
            struct rte_ipv4_hdr *iphdr =  rte_pktmbuf_mtod_offset(mbufs[i], struct rte_ipv4_hdr *, 
                sizeof(struct rte_ether_hdr));

            if (iphdr->next_proto_id == IPPROTO_UDP) {

                struct rte_udp_hdr *udphdr = (struct rte_udp_hdr *)(iphdr + 1);


#ifdef ENABLE_SEND
                rte_memcpy(gDstMac, ehdr->s_addr.addr_bytes, RTE_ETHER_ADDR_LEN);
                rte_memcpy(&gSrcIp, &iphdr->dst_addr, sizeof(uint32_t));
                rte_memcpy(&gDstIp, &iphdr->src_addr, sizeof(uint32_t));
                rte_memcpy(&gSrcPort, &udphdr->dst_port, sizeof(uint16_t));
                rte_memcpy(&gDstPort, &udphdr->src_port, sizeof(uint16_t));
#endif
                uint16_t length = ntohs(udphdr->dgram_len); //经验：网络字节序2字节以上必须转，不管实际是什么序
                *((char*)udphdr + length) = '\0';

                struct in_addr addr;
                addr.s_addr = iphdr->src_addr;
                printf("src: %s:%d, ", inet_ntoa(addr), ntohs(udphdr->src_port));

                addr.s_addr = iphdr->dst_addr;
                printf("dst: %s:%d, %s  length=%d\n", inet_ntoa(addr), ntohs(udphdr->dst_port), 
                    (char *)(udphdr+1), length);

#ifdef ENABLE_SEND
                struct rte_mbuf * txbuf = ng_send(mbuf_pool, (uint8_t *)(udphdr+1), length); 
                rte_eth_tx_burst(gDpdkPortId, 0, &txbuf, 1);// 真正的发送操作,第四个参数：发一个包，第二个参数：使用0号队列发送
                rte_pktmbuf_free(txbuf);
#endif

                rte_pktmbuf_free(mbufs[i]);
            }

        }

        // 准备一些值：源mac，目的mac，源ip，目的ip，源port，目的port
        //rte_eth_tx_burst();

    }
}

调试中遇到的问题记录

• wireshark怎么也抓不到dpdk发回到windows的包。原因是长度传参应传total_length,我传的length。

• 到底要不要htonl/htons。

结果