什么是unicode?字节和字符的区别是什么?
介绍Unicode之前,首先要讲解一些基础知识。虽然跟Unicode没有直接的关系,但想弄明白Unicode,没这些还真不行。
字节和字符的区别
咦,字节和字符能有什么区别啊?不都是一样的吗?完全正确,但只是在古老的DOS时代。当Unicode出现后,字节和字符就不一样了。
字节(octet)是一个八位的存储单元,取值范围一定是0~255。而字符(character,或者word)为语言意义上的符号,范围就不一定了。例如在UCS-2中定义的字符范围为0~65535,它的一个字符占用两个字节。
Big Endian和Little Endian
上面提到了一个字符可能占用多个字节,那么这多个字节在计算机中如何存储呢?比如字符0xabcd,它的存储格式到底是 AB CD,还是 CD AB 呢?
实际上两者都有可能,并分别有不同的名字。如果存储为 AB CD,则称为Big Endian;如果存储为 CD AB,则称为Little Endian。
具体来说,以下这种存储格式为Big Endian,因为值(0xabcd)的高位(0xab)存储在前面:
地址
值
0x00000000
AB
0x00000001
CD
相反,以下这种存储格式为Little Endian:
地址
值
0x00000000
CD
0x00000001
AB
UCS-2和UCS-4
Unicode是为整合全世界的所有语言文字而诞生的。任何文字在Unicode中都对应一个值,这个值称为代码点(code point)。代码点的值通常写成 U ABCD 的格式。而文字和代码点之间的对应关系就是UCS-2(Universal Character Set coded in 2 octets)。顾名思义,UCS-2是用两个字节来表示代码点,其取值范围为 U 0000~U FFFF。
为了能表示更多的文字,人们又提出了UCS-4,即用四个字节表示代码点。它的范围为 U 00000000~U 7FFFFFFF,其中 U 00000000~U 0000FFFF和UCS-2是一样的。
要注意,UCS-2和UCS-4只规定了代码点和文字之间的对应关系,并没有规定代码点在计算机中如何存储。规定存储方式的称为UTF(Unicode Transformation Format),其中应用较多的就是UTF-16和UTF-8了。
UTF-16和UTF-32
UTF-16
UTF-16由RFC2781规定,它使用两个字节来表示一个代码点。
不难猜到,UTF-16是完全对应于UCS-2的,即把UCS-2规定的代码点通过Big Endian或Little Endian方式直接保存下来。UTF-16包括三种:UTF-16,UTF-16BE(Big Endian),UTF-16LE(Little Endian)。
UTF-16BE和UTF-16LE不难理解,而UTF-16就需要通过在文件开头以名为BOM(Byte Order Mark)的字符来表明文件是Big Endian还是Little Endian。BOM为U FEFF这个字符。
其实BOM是个小聪明的想法。由于UCS-2没有定义U FFFE,因此只要出现 FF FE 或者 FE FF 这样的字节序列,就可以认为它是U FEFF,并且可以判断出是Big Endian还是Little Endian。
举个例子。“ABC”这三个字符用各种方式编码后的结果如下:
UTF-16BE
00 41 00 42 00 43
UTF-16LE
41 00 42 00 43 00
UTF-16(Big Endian)
FE FF 00 41 00 42 00 43
UTF-16(Little Endian)
FF FE 41 00 42 00 43 00
UTF-16(不带BOM)
00 41 00 42 00 43
Windows平台下默认的Unicode编码为Little Endian的UTF-16(即上述的 FF FE 41 00 42 00 43 00)。你可以打开记事本,写上ABC,然后保存,再用二进制编辑器看看它的编码结果。
另外,UTF-16还能表示一部分的UCS-4代码点——U 10000~U 10FFFF。表示算法比较复杂,简单说明如下:
从代码点U中减去0x10000,得到U'。这样U 10000~U 10FFFF就变成了 0x00000~0xFFFFF。
用20位二进制数表示U'。 U'=yyyyyyyyyyxxxxxxxxxx
将前10位和后10位用W1和W2表示,W1=110110yyyyyyyyyy,W2=110111xxxxxxxxxx,则 W1 = D800~DBFF,W2 = DC00~DFFF。
例如,U 12345表示为 D8 08 DF 45(UTF-16BE),或者08 D8 45 DF(UTF-16LE)。
但是由于这种算法的存在,造成UCS-2中的 U D800~U DFFF 变成了无定义的字符。
UTF-32
UTF-32用四个字节表示代码点,这样就可以完全表示UCS-4的所有代码点,而无需像UTF-16那样使用复杂的算法。与UTF-16类似,UTF-32也包括UTF-32、UTF-32BE、UTF-32LE三种编码,UTF-32也同样需要BOM字符。仅用'ABC'举例:
UTF-32BE
00 00 00 41 00 00 00 42 00 00 00 43
UTF-32LE
41 00 00 00 42 00 00 00 43 00 00 00
UTF-32(Big Endian)
00 00 FE FF 00 00 00 41 00 00 00 42 00 00 00 43
UTF-32(Little Endian)
FF FE 00 00 41 00 00 00 42 00 00 00 43 00 00 00
UTF-32(不带BOM)
00 00 00 41 00 00 00 42 00 00 00 43
UTF-8
UTF-16和UTF-32的一个缺点就是它们固定使用两个或四个字节,这样在表示纯ASCII文件时会有很多00字节,造成浪费。而RFC3629定义的UTF-8则解决了这个问题。
UTF-8用1~4个字节来表示代码点。表示方式如下:
UCS-2 (UCS-4)
位序列
第一字节
第二字节
第三字节
第四字节
U 0000 .. U 007F
00000000-0xxxxxxx
0xxxxxxx
U 0080 .. U 07FF
00000xxx-xxyyyyyy
110xxxxx
10yyyyyy
U 0800 .. U FFFF
xxxxyyyy-yyzzzzzz
1110xxxx
10yyyyyy
10zzzzzz
U 10000..U 1FFFFF
00000000-000wwwxx-
xxxxyyyy-yyzzzzzzz
11110www
10xxxxxx
10yyyyyy
10zzzzzz
可见,ASCII字符(U 0000~U 007F)部分完全使用一个字节,避免了存储空间的浪费。而且UTF-8不再需要BOM字节。
另外,从上表中可以看出,单字节编码的第一字节为[00-7F],双字节编码的第一字节为[C2-DF],三字节编码的第一字节为[E0-EF]。这样只要看到第一个字节的范围就可以知道编码的字节数。这样也可以大大简化算法。
asp.net是什么?asp.net的几种加密方法?
ASP NET不是一种语言,而是创建动态Web页的一种服务器端技术,开发web应用。可以使用多种语言,最大的特点就是“一切皆控件”,提供了很多服务器端控件,是编译执行的,执行效率比asp高。Asp net加密方法有几种,
详情2018-01-19 13:32:44责编:llp 来源:驱动管家网络信息安全 各种系统常见的安全问题
随着计算机的普及和网络技术的迅速发展,人们也越来越依赖于计算机和网络。因此,网络安全应该也必须引起注意。网络安全是一门涉及计算机、网络、通讯、密码、信息安全、应用数学、数论、信息论等多种学科的综合
详情2018-01-15 14:43:51责编:llp 来源:驱动管家mysql教程 mysql注入怎么获取web路径?
我们在MYSQL注入的时候经常会碰到无法立即根据在注入点加单引号提交得到的返回信息来获得web目录,这个时候获得web路径就要费点劲了!针对这种情况,我介绍三种方法!load_file(char(47))查找部分*nix系统的目录。a
详情2018-01-18 09:38:36责编:llp 来源:驱动管家什么是傲游浏览器的sql注射漏洞?
傲游浏览器的插件中心存在POST SQL注射漏洞http: extension maxthon cn all index phporhttp: chajian maxthon cn all index phppost data:keyword=%E6%90%9C%E7%B4%A2%E6%8F%92%E4%BB%B6修复方案:不敢献丑。。。作者 z@cx
详情2018-01-15 14:04:51责编:llp 来源:驱动管家海康威视远程监控存在的xxe漏洞分析研究报告
海康威视是一个致力于不断提升视频处理技术和视频分析技术,面向全球提供领先的监控产品、技术解决方案与专业优质服务,物联网发展和安全威胁总是如影随形。两个月前,我想研究一下网络摄像机,然后就在亚马逊上
详情2018-01-15 15:26:02责编:llp 来源:驱动管家你知道网站安全测试的工具awvs的使用方法吗?
一、打开应用1、打开应用,出现如图所示界面:二、创建一个新的测试项目这里以CSDN为例:1 点击File –> New –> Web Site Scan或者工具栏上的“New Scan”打开创建页面,如下图:2 填写需
详情2018-01-16 17:30:30责编:llp 来源:驱动管家Windows2000开放端口扫描只需一个dos命令
不需要任何工具,dos命令扫描一个网段的全部端口!在win2000下开一个dos窗口,然后执行for l %a in (1,1,254) do start min low telnet 192 168 0 %a 3389这样192 168 0 x这个段的所有开放3389端口得
详情2018-01-19 16:58:30责编:llp 来源:驱动管家人们需要知道有关后门程序的三大技术知识
曾经饱受木马、后门(以下统称后门)侵害的人们都不会忘记机器被破坏后的惨象,于是人们展开了积极的防御工作,从补丁到防火墙,恨不得连网线都加个验证器,在多种多样的防御手法夹攻下,一大批后门倒下了,菜鸟们
详情2018-01-06 18:19:03责编:llp 来源:驱动管家计算机中毒怎么处理?计算机中毒的紧急处理措施
常在河边走,哪能不湿鞋呢?互联网上各种病毒在不停的流窜,作为连接在网络上的电脑,尽管我们已经做了各种防范,但还是不能避免,稍不留神就会中招。而现在我们学到的多是如何防范电脑中毒的知识,但是对于已经
详情2018-01-16 12:21:47责编:llp 来源:驱动管家磁盘保护工具 磁盘加密的七种工具
TruCrypt、PGP、FreeOTFE、BitLocker、DriveCrypt和7-Zip,这些加密程序提供了异常可靠的实时加密功能,可以为你确保数据安全,避免数据丢失、被偷以及被窥视。很少有IT专业人士还需要数据安全方面的培训,但是我
详情2018-01-05 16:31:25责编:llp 来源:驱动管家
- 文档转换过程中出现错误怎么改正
- 斗鱼tv直播出现不良信息怎么举报?斗鱼tv直播怎么举报?
- 你所不知道的关于虚拟光驱的重要用途
- 显卡温度多少是正常的?关于电脑显卡温度的一些介绍
- 【游戏攻略】《绝地求生》如何快速舔包?舔包的正确思路与技巧
- 【游戏攻略】《绝地求生》单排吃鸡技巧 走位与资源取舍
- 【游戏攻略】《绝地求生》新手入门须知 基础装备及武器详解
- 打开笔记本无线网卡你知道这个方法吗
- 关于xp系统中那些大神才知道的使用方法经验
- 为你讲述华为p10闪存门事件 怎么测试华为p10闪存?
- 手机卡怎么办?google的黄油计划可以帮你
- sim卡全称是什么?sim卡的基本概念
- 华硕主板怎么设置u盘启动?华硕主板设置u盘启动步骤
- outlook express是什么?outlook express有漏洞怎么办?
- 怎么拿到网上商店系统ecshopx的后台权限?
- 微信网页版可以看朋友圈吗?微信怎么在电脑上看朋友圈?
- 优酷视频下载出错是什么意思?优酷视频下载出错怎么办?
- 电源功率计算公式是什么?怎么计算电源功率
- 解决笔记本声卡驱动无法安装三步走
- “跳一跳”等小游戏的狂欢之后 变现成了最难的问题