直播行业的火热让更多的朋友愿意去开发一个视频直播app，去搭建一套属于自己的app，那么视频直播app开发源码搭建如何呢，今天我们就一起来看一下。

可以分为采集、前处理、编码、传输、解码、渲染,推流,拉流、连麦、直播、互动等几个环节如下：

1、采集：包含图像采集和音频采集

图像采集设置前置摄像头、后置摄像头，并配置采集的参数、图像数据的长宽、fps、输出的方向、横屏竖屏等，然后从回调中取到数据。音频采集和编码主要面临的挑战在于：噪声消除（Denoise）、回声消除（AEC）算法等。前期不需要音频数据处理需求的时候，只需配置音频采集的采样频率、采样精度和声道。

2、前处理

①现在直播系统源码美颜已经是标配了，80%的主播没有美颜根本没法看。

②美颜算法需要用到GPU编程，需要懂图像处理算法的人，没有好的源码难以实现。难点不在于美颜效果，而在于GPU占用和美颜效果之间找平衡。

③GPU虽然性能好，但是也是有功耗的，GPU占用太高会导致手机发烫，而手机发烫会导致摄像头采集掉帧，可能原因是过热会导致CPU降低主频。

3、编码

①直播源码开发硬编码兼容性问题，android要有人去填。

②要采用硬编码，软编码720p完全没希望，勉强能编码也会导致CPU过热烫到摄像头。编码要在分辨率、帧率、码率、GOP等参数设计上找到最佳平衡点。

4、传输

①封包最主要注意的一个点是时间戳。

②因为用的AVPacket封包，每个包都会有一DST(DecodeTimeStamp)、PST(PresentationTimeStamp)参数，从字面上可以理解，就是解码时间和显示时间，在没有B帧存在的情况下DTS的顺序和PTS的顺序应该是一样的。

③这块还涉及到重连和丢帧，用户的网络情况波动断开了,会进行重连。不想要卡顿，必然要加大缓冲，会导致延迟高，延迟高影响互动性，要做权衡。

④音频降噪：音频编码器的选择，各种蓝牙耳机，各种播放模式的适配等如果你想做主播和观众连线聊天，还有个回声消除问题。

5、解码和渲染

①拉流获取封装的视频数据后，必须通过解码器解码、渲染后才能在播放器上播放

②它是编码的逆过程，是指从音视频的数据中提取原始数据。前面介绍的H.264和H.265编码格式都是有损压缩，所以在提取后的原始数据，并非原始采样数据，存在一定的信息丢失。因此，在视频体积最小的情况下通过直播系统源码参数保留最好的原始画面。

6、推流

①要想用于推流还必须把音视频数据使用传输协议进行封装，变成流数据。

②常用的流传输协议有RTSP、RTMP、HLS等，使用RTMP传输的延时通常在1–3秒，对于手机直播这种实时性要求非常高的场景，RTMP也成为手机直播中最常用的流传输协议。

7、拉流

①实际是推流的逆过程

②首先通过播放端获取码流，标准的拉流格式有RTMP、HLS、FLV等。

③RTMP是Adobe的专利协议，开源软件和开源库都支持的比较好，如开源的librtmp库，播放端只要支持flashPlayer的就能非常简单的播放RTMP直播，直播系统延迟一般在1–3秒。

⑤HLS是苹果提出的基于HTTP的流媒体传输协议，HTML5可以直接打开播放，通过微信、QQ等软件分享出去，用户也可以直接观看直播，可以说手机直播APP，HLS拉流协议是必须支持的。