博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
最简单的视音频播放示例9:SDL2播放PCM
阅读量:3531 次
发布时间:2019-05-20

本文共 6660 字,大约阅读时间需要 22 分钟。

=====================================================

最简单的视音频播放示例系列文章列表:

=====================================================


本文记录SDL播放音频的技术。在这里使用的版本是SDL2。实际上SDL本身并不提供视音频播放的功能,它只是封装了视音频播放的底层API。在Windows平台下,SDL封装了Direct3D这类的API用于播放视频;封装了DirectSound这类的API用于播放音频。因为SDL的编写目的就是简化视音频播放的开发难度,所以使用SDL播放视频(YUV/RGB)和音频(PCM)数据非常的容易。

SDL简介

SDL(Simple DirectMedia Layer)是一套开放源代码的跨平台多媒体开发库,使用C语言写成。SDL提供了数种控制图像、声音、输出入的函数,让开发者只要用相同或是相似的代码就可以开发出跨多个平台(Linux、Windows、Mac OS X等)的应用软件。目前SDL多用于开发游戏、模拟器、媒体播放器等多媒体应用领域。用下面这张图可以很明确地说明SDL的用途。

SDL实际上并不限于视音频的播放,它将功能分成下列数个子系统(subsystem):

Video(图像):图像控制以及线程(thread)和事件管理(event)。

Audio(声音):声音控制

Joystick(摇杆):游戏摇杆控制

CD-ROM(光盘驱动器):光盘媒体控制

Window Management(视窗管理):与视窗程序设计集成

Event(事件驱动):处理事件驱动

在Windows下,SDL与DirectX的对应关系如下。

SDL

DirectX

SDL_Video、SDL_Image

DirectDraw、Direct3D

SDL_Audio、SDL_Mixer

DirectSound

SDL_Joystick、SDL_Base

DirectInput

SDL_Net

DirectPlay



注:上文内容在《使用SDL播放视频》的文章中已经介绍,这里再次重复贴一遍。

SDL播放音频的流程

SDL播放音频的流程狠简单,分为以下步骤。

1.初始化

1) 初始化SDL。

2) 根据参数(SDL_AudioSpec)打开音频设备

2.循环播放数据

1) 播放音频数据。

2) 延时等待播放完成。



下面详细分析一下上文流程。



1.初始化

1) 初始化SDL。

使用SDL_Init()初始化SDL。该函数可以确定希望激活的子系统。SDL_Init()函数原型如下:

[cpp]
  1. intSDLCALLSDL_Init(Uint32flags)

其中,flags可以取下列值:

SDL_INIT_TIMER:定时器
SDL_INIT_AUDIO:音频
SDL_INIT_VIDEO:视频
SDL_INIT_JOYSTICK:摇杆
SDL_INIT_HAPTIC:触摸屏
SDL_INIT_GAMECONTROLLER:游戏控制器
SDL_INIT_EVENTS:事件
SDL_INIT_NOPARACHUTE:不捕获关键信号(这个不理解)
SDL_INIT_EVERYTHING:包含上述所有选项

有关SDL_Init()有一点需要注意:初始化的时候尽量做到“够用就好”,而不要用SDL_INIT_EVERYTHING。因为有些情况下使用SDL_INIT_EVERYTHING会出现一些不可预知的问题。例如,在MFC应用程序中播放纯音频,如果初始化SDL的时候使用SDL_INIT_EVERYTHING,那么就会出现听不到声音的情况。后来发现,去掉了SDL_INIT_VIDEO之后,问题才得以解决。

2)根据参数(SDL_AudioSpec)打开音频设备

使用SDL_OpenAudio()打开音频设备。该函数需要传入一个SDL_AudioSpec的结构体。DL_OpenAudio()的原型如下。

[cpp]
  1. intSDLCALLSDL_OpenAudio(SDL_AudioSpec*desired,
  2. SDL_AudioSpec*obtained);

它的参数是两个SDL_AudioSpec结构体,它们的含义:

desired:期望的参数。

obtained:实际音频设备的参数,一般情况下设置为NULL即可。



SDL_AudioSpec结构体的定义如下。

[cpp]
  1. typedefstructSDL_AudioSpec
  2. {
  3. intfreq;/**<DSPfrequency--samplespersecond*/
  4. SDL_AudioFormatformat;/**<Audiodataformat*/
  5. Uint8channels;/**<Numberofchannels:1mono,2stereo*/
  6. Uint8silence;/**<Audiobuffersilencevalue(calculated)*/
  7. Uint16samples;/**<Audiobuffersizeinsamples(powerof2)*/
  8. Uint16padding;/**<Necessaryforsomecompileenvironments*/
  9. Uint32size;/**<Audiobuffersizeinbytes(calculated)*/
  10. SDL_AudioCallbackcallback;
  11. void*userdata;
  12. }SDL_AudioSpec;

其中包含了关于音频各种参数:

freq:音频数据的采样率。常用的有48000,44100等。

format:音频数据的格式。举例几种格式:

AUDIO_U16SYS:Unsigned 16-bit samples

AUDIO_S16SYS:Signed 16-bit samples

AUDIO_S32SYS:32-bit integer samples

AUDIO_F32SYS:32-bit floating point samples

channels:声道数。例如单声道取值为1,立体声取值为2。

正确播放PCM数据需要以上三个参数:

silence:设置静音的值。

samples:音频缓冲区中的采样个数,要求必须是2的n次方。

padding:考虑到兼容性的一个参数。

size:音频缓冲区的大小,以字节为单位。

callback:填充音频缓冲区的回调函数。

userdata:用户自定义的数据。

在这里记录一下填充音频缓冲区的回调函数的作用。当音频设备需要更多数据的时候会调用该回调函数。回调函数的格式要求如下。

[cpp]
  1. void(SDLCALL*SDL_AudioCallback)(void*userdata,Uint8*stream,
  2. intlen);

回调函数的参数含义如下所示。

userdata:SDL_AudioSpec结构中的用户自定义数据,一般情况下可以不用。

stream:该指针指向需要填充的音频缓冲区。

len:音频缓冲区的大小(以字节为单位)。

在回调函数中可以使用SDL_MixAudio()完成混音等工作。众所周知SDL2和SDL1.x关于视频方面的API差别很大。但是SDL2和SDL1.x关于音频方面的API是一模一样的。唯独在回调函数中,SDL2有一个地方和SDL1.x不一样:SDL2中必须首先使用SDL_memset()将stream中的数据设置为0。



2.循环播放数据
1) 播放音频数据。

使用SDL_PauseAudio()可以播放音频数据。SDL_PauseAudio()的原型如下。

[cpp]
  1. voidSDLCALLSDL_PauseAudio(intpause_on)

当pause_on设置为0的时候即可开始播放音频数据。设置为1的时候,将会播放静音的值。


2)延时等待播放完成。

这一步就是延时等待音频播放完毕了。使用像SDL_Delay()这样的延时函数即可。


代码

源代码如下所示。
[cpp]
  1. /**
  2. *最简单的SDL2播放音频的例子(SDL2播放PCM)
  3. *SimplestAudioPlaySDL2(SDL2playPCM)
  4. *
  5. *雷霄骅LeiXiaohua
  6. *leixiaohua1020@126.com
  7. *中国传媒大学/数字电视技术
  8. *CommunicationUniversityofChina/DigitalTVTechnology
  9. *http://blog.csdn.net/leixiaohua1020
  10. *
  11. *本程序使用SDL2播放PCM音频采样数据。SDL实际上是对底层绘图
  12. *API(Direct3D,OpenGL)的封装,使用起来明显简单于直接调用底层
  13. *API。
  14. *
  15. *函数调用步骤如下:
  16. *
  17. *[初始化]
  18. *SDL_Init():初始化SDL。
  19. *SDL_OpenAudio():根据参数(存储于SDL_AudioSpec)打开音频设备。
  20. *SDL_PauseAudio():播放音频数据。
  21. *
  22. *[循环播放数据]
  23. *SDL_Delay():延时等待播放完成。
  24. *
  25. *ThissoftwareplaysPCMrawaudiodatausingSDL2.
  26. *SDLisawrapperoflow-levelAPI(DirectSound).
  27. *UseSDLismucheasierthandirectlycalltheselow-levelAPI.
  28. *
  29. *Theprocessisshownasfollows:
  30. *
  31. *[Init]
  32. *SDL_Init():InitSDL.
  33. *SDL_OpenAudio():Openstheaudiodevicewiththedesired
  34. *parameters(InSDL_AudioSpec).
  35. *SDL_PauseAudio():PlayAudio.
  36. *
  37. *[Looptoplaydata]
  38. *SDL_Delay():Waitforcompletetionofplayback.
  39. */
  40. #include<stdio.h>
  41. #include<tchar.h>
  42. extern"C"
  43. {
  44. #include"sdl/SDL.h"
  45. };
  46. //Buffer:
  47. //|-----------|-------------|
  48. //chunk-------pos---len-----|
  49. staticUint8*audio_chunk;
  50. staticUint32audio_len;
  51. staticUint8*audio_pos;
  52. /*AudioCallback
  53. *Theaudiofunctioncallbacktakesthefollowingparameters:
  54. *stream:Apointertotheaudiobuffertobefilled
  55. *len:Thelength(inbytes)oftheaudiobuffer
  56. *
  57. */
  58. voidfill_audio(void*udata,Uint8*stream,intlen){
  59. //SDL2.0
  60. SDL_memset(stream,0,len);
  61. if(audio_len==0)
  62. return;
  63. len=(len>audio_len?audio_len:len);
  64. SDL_MixAudio(stream,audio_pos,len,SDL_MIX_MAXVOLUME);
  65. audio_pos+=len;
  66. audio_len-=len;
  67. }
  68. intmain(intargc,char*argv[])
  69. {
  70. //Init
  71. if(SDL_Init(SDL_INIT_AUDIO|SDL_INIT_TIMER)){
  72. printf("CouldnotinitializeSDL-%s\n",SDL_GetError());
  73. return-1;
  74. }
  75. //SDL_AudioSpec
  76. SDL_AudioSpecwanted_spec;
  77. wanted_spec.freq=44100;
  78. wanted_spec.format=AUDIO_S16SYS;
  79. wanted_spec.channels=2;
  80. wanted_spec.silence=0;
  81. wanted_spec.samples=1024;
  82. wanted_spec.callback=fill_audio;
  83. if(SDL_OpenAudio(&wanted_spec,NULL)<0){
  84. printf("can'topenaudio.\n");
  85. return-1;
  86. }
  87. FILE*fp=fopen("../NocturneNo2inEflat_44.1k_s16le.pcm","rb+");
  88. if(fp==NULL){
  89. printf("cannotopenthisfile\n");
  90. return-1;
  91. }
  92. intpcm_buffer_size=4096;
  93. char*pcm_buffer=(char*)malloc(pcm_buffer_size);
  94. intdata_count=0;
  95. //Play
  96. SDL_PauseAudio(0);
  97. while(1){
  98. if(fread(pcm_buffer,1,pcm_buffer_size,fp)!=pcm_buffer_size){
  99. //Loop
  100. fseek(fp,0,SEEK_SET);
  101. fread(pcm_buffer,1,pcm_buffer_size,fp);
  102. data_count=0;
  103. }
  104. printf("NowPlaying%10dBytesdata.\n",data_count);
  105. data_count+=pcm_buffer_size;
  106. //Setaudiobuffer(PCMdata)
  107. audio_chunk=(Uint8*)pcm_buffer;
  108. //Audiobufferlength
  109. audio_len=pcm_buffer_size;
  110. audio_pos=audio_chunk;
  111. while(audio_len>0)//Waituntilfinish
  112. SDL_Delay(1);
  113. }
  114. free(pcm_buffer);
  115. SDL_Quit();
  116. return0;
  117. }


运行结果

运行的结果如下图所示。运行的时候可以听见音乐播放的声音。


下载

代码位于“Simplest Media Play”中



SourceForge项目地址:

CSDN下载地址:

注:

该项目会不定时的更新并修复一些小问题,最新的版本请参考该系列文章的总述页面:


上述工程包含了使用各种API(Direct3D,OpenGL,GDI,DirectSound,SDL2)播放多媒体例子。其中音频输入为PCM采样数据。输出至系统的声卡播放出来。视频输入为YUV/RGB像素数据。输出至显示器上的一个窗口播放出来。

通过本工程的代码初学者可以快速学习使用这几个API播放视频和音频的技术。

一共包括了如下几个子工程:

simplest_audio_play_directsound:
使用DirectSound播放PCM音频采样数据。

simplest_audio_play_sdl2:使用SDL2播放PCM音频采样数据。

simplest_video_play_direct3d:
使用Direct3D的Surface播放RGB/YUV视频像素数据。

simplest_video_play_direct3d_texture:使用Direct3D的Texture播放RGB视频像素数据。

simplest_video_play_gdi:
使用GDI播放RGB/YUV视频像素数据。

simplest_video_play_opengl:
使用OpenGL播放RGB/YUV视频像素数据。

simplest_video_play_opengl_texture:
使用OpenGL的Texture播放YUV视频像素数据。

simplest_video_play_sdl2:
使用SDL2播放RGB/YUV视频像素数据。

你可能感兴趣的文章
SQL ALTER用法(三)
查看>>
SQL where子句及查询条件语句(六)
查看>>
SQL 连接JOIN(九)
查看>>
linux VM虚拟机可以ping通主机,但主机无法ping通虚拟机
查看>>
linux 错误码
查看>>
C++ 中Struct与typedef struct总结
查看>>
WNetAddConnection2调用失败,错误码1200/1312
查看>>
POI读写Excel的基本使用
查看>>
淘宝网站的架构演进
查看>>
设置zookeeper开机自启动流程
查看>>
CentOS安装mysql5.7的教详细流程
查看>>
项目整合微信扫码登录功能
查看>>
分布式文件系统FastDfs的搭建
查看>>
Springboot项目利用Java客户端调用FastDFS
查看>>
全文检索工具elasticsearch的安装和简单介绍
查看>>
利用Kibana学习全文检索工具elasticsearch
查看>>
SpringBoot在Test测试类或自定义类中通过@Autowired注入为null
查看>>
使用docker搭建YAPI服务
查看>>
西南科技大学OJ题 邻接表到邻接矩阵1056
查看>>
西南科技大学OJ题 有向图的出度计算1057
查看>>