xml地图|网站地图|网站标签 [设为首页] [加入收藏]

文件系统的日志隔离必威:,linux文件系统的日志

2> dumpe2fs /dev/sda1 | egrep -i (journal|size)   查看信息

data=journal 数据,元数据都写入日志区

This filesystem will be automatically checked every 37 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

  转换完成后,不要忘记将/etc/fstab文件中所对应分区的文件系统由原来的ext2更改为ext3。如果你正在转换的分区为根分区,你还应使用initrd启动系统,运行mkinitrd,确保lilo或grub能正常加载initrd。如果你没有做以上几步,那么根在下次启动时仍然会以ext2文件系统的方式加载。要查看根分区目前的文件系统,可以运行“cat /proc/mounts”查看结果,有关对根文件系统的转换,可以从随ext3软件包的说明手册中找到详细说明

data=writeback 只有元数据写入,但是不保证提交的次序

4> mke2fs -O journal_dev -b 1024 /dev/sda5    格式化一个日志设备

Checking for bad blocks (read-only test): 完成            ----执行读取测试
正在写入inode表: 完成
Writing superblocks and filesystem accounting information: 完成

  ext3 基于ext2 的代码,它的磁盘格式和 ext2 的相同;这意味着,一个干净卸装的 ext3 文件系统可以作为 ext2 文件系统重新挂装。Ext3文件系统仍然能被加载成ext2文件系统来使用,你可以把一个文件系统在ext3和ext2自由切换。这时在ext2文件系统上的ext3日志文件仍然存在,只是ext2不能认出日志而已。

 

下面我给出日志区隔离的步骤:

正在写入inode表: 完成
Creating journal (32768 blocks): 完成
Writing superblocks and filesystem accounting information: 完成

  2.实际使用Ext3文件系统

下面我给出日志区隔离的步骤:

data=writeback 只有元数据写入,但是不保证提交的次序

This filesystem will be automatically checked every 31 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.  

  创建新的ext3文件系统,例如要把磁盘上的hda5分区格式化ext3文件系统,并将日志记录在/dev/hda1分区,那么操作过程如下:

5> tune2fs -j -J device=/dev/sda5 /dev/sda1    将日志设备添加到分区上

 

我们把上面三个盘挂载后再看看。
[root@rhel6 sjb]# mount /dev/sdb1 /media/sdb1
[root@rhel6 sjb]# mount /dev/sdb3 /media/sdb3
[root@rhel6 sjb]# mount /dev/sdb6 /media/sdb6
[root@rhel6 sjb]# df -hT
文件系统    类型      容量  已用  可用 已用%% 挂载点
/dev/sda5    ext4    12G  1.6G  9.7G  15% /
tmpfs        tmpfs    250M    0  250M  0% /dev/shm
/dev/sda1    ext4  1008M  52M  906M  6% /boot
/dev/sda2    ext4    5.0G  151M  4.6G  4% /home
/dev/sdb1    ext4    107M  5.6M  96M  6% /media/sdb1
/dev/sdb3    ext3    9.9G  151M  9.3G  2% /media/sdb3
/dev/sdb5    vfat    5.1G  4.0K  5.1G  1% /media/sdb5
/dev/sdb6    ext2    3.8G  3.3M  3.7G  1% /media/sdb6
为什么sdb6是ext2? 不是明明指定了-T vfat吗?通过man mke2fs 知道,它是加载的/etc/mke2fs.conf文件,我们再通过查找mke2fs.conf文件,会发现里面根本没有vfat这一项,所以,当然就不能格式化为vfat了。为什么会是ext2呢?同样,mke2fs.conf里面的[default]选项告诉了我们,默认是格式化为ext2系统的!所以就成了ext2了。

  #umount /dev/hda6
  #e2fsck -fy /dev/hda6

          ext3:增添了日志区(有利于数据一致性),先写inode! 等数据写到文件系统后,清除日志

          ext2:前写block,后写inode!

我们用mkfs.vfat /dev/sdb5来将sdb5格式化为vfat。
[root@rhel6 sjb]# mkfs.vfat /dev/sdb5
mkfs.vfat 3.0.9 (31 Jan 2010)

    Linux缺省情况下使用的文件系统为Ext2,ext2文件系统的确高效稳定。但是,随着Linux系统在关键业务中的应用,Linux文件系统的弱点也渐渐显露出来了;其中系统缺省使用的ext2文件系统是非日志文件系统。这在关键行业的应用是一个致命的弱 点。本文向各位介绍Linux下使用ext3日志文件系统应用。
  Ext3文件系统是直接从Ext2文件系统发展而来,目前ext3文件系统已经非常稳定可靠。它完全兼容ext2文件系统。用户可以平滑地过渡到一个日志功能健全的文件系统中来。这实际上了也是ext3日志文件系统初始设计的初衷。

    2. 然而像oracle,mysql这样的大型数据都是基于日志文件,可以做到日志数据分离,即保证了数据的一致性又保证了效率。ext3这种文件系统默认都是内含的,小型服务器不做考虑,若是大型服务器,一方面是磁盘I/0慢,另一方面直接影响数据写入和读取的效率,因此建立数据区与日志区隔离,即减小I/O负担,加快数据写入效率,同时方便恢复

mount -o commit=15   日志同步到文件的间隔,可能数据丢失

一般我们使用默认参数就行了,如果想要指定一些参数,如block大小,inode的大小,文件系统,卷标等。可以使用这些参数来指定
-c快速读取检测磁盘,-c -c 读取和写入来检测磁盘。
-i 指定每个inode的大小。
-T 指定文件系统格式,如ext4,ext3,vfat。
-L 指定卷标

  二、使用Ext3文件系统

 

 

实际操作下:

  #[root@test /sbin]# mount -t ext3 /dev/sda5 /ext3

1> umount 卸载分区,确保分区未使用

 

其实也可以用mkfs.ext4来格式化为ext4分区,同样也可以用它来格式化为ext3分区。我们将/dev/sdb3格式化为ext3。

  Ext3有多种日志模式,一种工作模式是对所有的文件数据及metadata(定义文件系统中数据的数据,即数据的数据)进行日志记录(data=journal模式);另一种工作模式则是只对metadata记录日志,而不对数据进行日志记录,也即所谓data=ordered或者data=writeback模式。系统管理人员可以根据系统的实际工作要求,在系统的工作速度与文件数据的一致性之间作出选择。

必威 1

5> tune2fs -j -J device=/dev/sda5 /dev/sda1    将日志设备添加到分区上

正在写入inode表: 完成
Creating journal (4096 blocks): 完成            --------表示有日志记录,vfat,ext2无日志记录
Writing superblocks and filesystem accounting information: 完成

  对核心打补丁,补丁下载地址:之后运行:

1.ext3文件系统在ext2的基础上添加了日志功能,如同数据库一样用日志来保证数据的一致性。...

          ext3:增添了日志区(有利于数据一致性),先写inode! 等数据写到文件系统后,清除日志

This filesystem will be automatically checked every 39 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.
这个文件系统将在39次挂载或180天后执行磁盘检查。可以用tune2fs -c 或-i来改变这个默认设定。-c代表设立执行检查的最大挂载次数,0或-1代表无挂载次数限制。-i设立最大时间。0表示无时间限制。  

 3.将ext2文件系统转换为ext3文件系统

4> mke2fs -O journal_dev -b 1024 /dev/sda5    格式化一个日志设备

  1.ext3文件系统在ext2的基础上添加了日志功能,如同数据库一样用日志来保证数据的一致性。

必威,我们也可以用mke2fs来格式化/devsdb6,格式为vfat,卷标为winshare,block为1024.并且快速检测磁盘
[root@rhel6 sjb]# mke2fs -b 1024 -T vfat -c -L winshare /dev/sdb6
mke2fs 1.41.12 (17-May-2010)
文件系统标签=winshare                        -------可以看到卷标为winshare
操作系统:Linux
块大小=1024 (log=0)                            -------可以看到块大小变为了1024
分块大小=1024 (log=0)
Stride=0 blocks, Stripe width=0 blocks
253440 inodes, 4048348 blocks
202417 blocks (5.00%) reserved for the super user
第一个数据块=1
Maximum filesystem blocks=71303168
495 block groups
8192 blocks per group, 8192 fragments per group
512 inodes per group
Superblock backups stored on blocks:
        8193, 24577, 40961, 57345, 73729, 204801, 221185, 401409, 663553,
        1024001, 1990657, 2809857

  以转换文件系统为例,将ext2文件系统转换为ext3文件系统,命令如下:

   1.ext3文件系统在ext2的基础上添加了日志功能,如同数据库一样用日志来保证数据的一致性。

    2. 然而像oracle,mysql这样的大型数据都是基于日志文件,可以做到日志数据分离,即保证了数据的一致性又保证了效率。ext3这种文件系统默认都是内含的,小型服务器不做考虑,若是大型服务器,一方面是磁盘I/0慢,另一方面直接影响数据写入和读取的效率,因此建立数据区与日志区隔离,即减小I/O负担,加快数据写入效率,同时方便恢复

我们把/dev/sdb1格式化成ext4文件系统。
[root@rhel6 sjb]# mkfs -t ext4 /dev/sdb1
mke2fs 1.41.12 (17-May-2010)
文件系统标签=                                          ------默认没有卷标
操作系统:Linux                             
块大小=4096 (log=0)                                -------默认块大小为4k
分块大小=4096 (log=0)
Stride=0 blocks, Stripe width=0 blocks
28112 inodes, 112420 blocks                      -------inode,block数量
5621 blocks (5.00%) reserved for the super user  ----为超级用户保留5%的块
第一个数据块=1                                        -------起始块
Maximum filesystem blocks=67371008
14 block groups                                 
8192 blocks per group, 8192 fragments per group  ---每个组有8192个块
2008 inodes per group                                  -------每个组有2008个inode
Superblock backups stored on blocks:          -------用于备份superblock的区块
        8193, 24577, 40961, 57345, 73729

  在创建新的文件系统时,可以看到,ext3文件系统执行自动检测的时间为180天或每第31次被mount时,实际上这个参数可以根据需要随意调节。

 

2> dumpe2fs /dev/sda1 | egrep -i (journal|size)   查看信息

这里只是分了区(http://www.linuxidc.com/Linux/2011-11/47158.htm),如果不格式化,磁盘仍然是无法使用的,无法挂载。今天说说格式化吧。主要是mkfs命令和mke2fs命令。

  [root@test /sbin]# ./mke2fs -j /dev/sda5
  mke2fs 1.24a (02-Sep-2001)
  Filesystem label=
  OS type: Linux
  Block size=1024 (log=0)
  .. .. ..
  Creating journal (8192 blocks): done
  Writing superblocks and filesystem accounting information: done
  This filesystem will be automatically checked every 30 mounts or
  180 days, whichever comes first. Use tune2fs -c or -i to override.

 

1.ext3文件系统在ext2的基础上添加了日志功能,如同数据库一样用日志来保证数据的一致性。 ext2:前写block,后写in...

必威 2

  [root@test /sbin]# ./tune2fs -j /dev/sda6
  tune2fs 1.24a (02-Sep-2001)
  Creating journal inode: done
  This filesystem will be automatically checked every 31 mounts or
  180 days, whichever comes first. Use tune2fs -c or -i to override.

 

 

[root@rhel6 sjb]# mkfs.ext3 /dev/sdb3
mke2fs 1.41.12 (17-May-2010)
文件系统标签=
操作系统:Linux
块大小=4096 (log=2)
分块大小=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
655776 inodes, 2622611 blocks
131130 blocks (5.00%) reserved for the super user
第一个数据块=0
Maximum filesystem blocks=2688548864
81 block groups
32768 blocks per group, 32768 fragments per group
8096 inodes per group
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632

  4、数据转换

          ext2:前写block,后写inode!

 

  5.文件系统修复

 

 

  可以将日志放置在另外一个存储设备上,例如存放到分区/dev/hda9。例如要在/dev/hda5上创建一个ext3文件系统,并将日志存放在外部设备/dev/hda9上,则运行以下命令:

 

必威 3

  ext3文件系统能够极大地提高文件系统的完整性,避免了意外宕机对文件系统的破坏。在保证数据完整性方面,ext3文件系统有2种模式可供选择。其中之一就是“同时保持文件系统及数据的一致性”模式。采用这种方式,你永远不再会看到由于非正常关机而存储在磁盘上的垃圾文件。

 

3> tune2fs -O ^has_journal /dev/sda1 去掉内部默认的日志功能

  4.日志的存放位置

 

 

  系统使用了ext3文件系统后,即使在非正常关机后,系统也不需要检查文件系统。宕机发生后,恢复ext3文件系统的时间只要数十秒钟。

  1. 用户还可以自己指定日志同步到文件系统的频率:

 

  JBD (ext3) debugging support

data=journal 数据,元数据都写入日志区

data=ordered 默认只有元数据写入日志区

 

 

1> umount 卸载分区,确保分区未使用

  #mke2fs -J device=/dev/hda9 /dev/hda5

浅谈linux性能调优之四:文件系统的日志隔离

 

  3、文件系统的速度:

3> tune2fs -O ^has_journal /dev/sda1 去掉内部默认的日志功能

 

  尽管使用ext3文件系统时,有时在存储数据时可能要多次写数据,但是,从总体上看来,ext3比ext2的性能还要好一些。这是因为ext3的日志功能对磁盘的驱动器读写头进行了优化。所以,文件系统的读写性能较之Ext2文件系统并来说,性能并没有降低。

mount -o commit=15   日志同步到文件的间隔,可能数据丢失

 

 5、多种日志模式

 

linux文件系统的日志隔离

 

 

  1. 用户还可以自己指定日志同步到文件系统的频率:

  内核编译安装完成。使用新的内核启动系统后,就可以创建ext3文件系统了。

 

 

  这样,原来的ext2文件系统就转换成了ext3文件系统。注意将ext2文件系统转换为ext3文件系统时,不必要将分区缷载下来转换。

data=ordered 默认只有元数据写入日志区

  1. 日志型文件系统的工作模式:不同的工作模式,效率不同,数据安全性不同

  一、Ext3日志文件系统的特点

  1. 日志型文件系统的工作模式:不同的工作模式,效率不同,数据安全性不同

 

  #make bzImage
  #make module
  #make module_install
  #make install

您可能感兴趣的文章:

  • 关于linux分区,文件系统,目录结构的概述
  • linux查看文件系统块大小与内存页大小的简单方法
  • 查看linux文件系统块大小的实现方法
  • linux如何编译安装新内核支持NTFS文件系统(以redhat7.2x64为例)
  • linux系统之间通过nfs网络文件系统挂载设置方法
  • linux文件系统调整大小的方法(linux调整分区大小)
  • linux下保留文件系统下剩余指定数目文件的shell脚本
  • Linux文件系统的桌面应用
  • Linux环境下使用JFS文件系统
  • Linux日志式文件系统面面观
  • Linux新技术对象存储文件系统
  • Linux环境下使用XFS文件系统
  • Linux环境下的ReiserFS文件系统
  • Linux环境下使用GFS文件系统
  • 详细分析Linux文件系统

  新的e2fsprogs中的e2fsck支持ext3文件系统。当一个ext3文件系统被破坏时,先卸载该设备,在用e2fsck修复:

  <*> Ext3 journalling file system support (EXPERIMENTAL)

  1.下载与编译核心

  在Filesystem菜单中,会多出以下选项,选择内核支持Ext3文件系统:

  总之,ext3日志文件系统是目前linux系统由ext2文件系统过度到日志文件系统最为简单的一种选择,实现方式也最为简洁。由于是直接从ext2文件系统发展而来,系统由ext2文件系统过渡到ext3日志文件系统升级过程平滑,可以最大限度地保证系统数据的安全性。目前linux系统要使用日志文件系统,最保险的方式就是选择ext3文件系统。

  选择支持Ext3文件系统,保存核心配置文件,重新编译核心。

  1、高可用性

  #make menuconfig

  说明:以上将已格式化为ext3文件系统的/dev/sda5分区加载到/ext3目录下。

  由ext2文件系统转换成ext3文件系统非常容易,只要简单地键入两条命令即可完成整个转换过程,用户不用花时间备份、恢复、格式化分区等。用一个ext3文件系统提供的小工具tune2fs,它可以将ext2文件系统轻松转换为ext3日志文件系统。另外,ext3文件系统可以不经任何更改,而直接加载成为ext2文件系统。

  2、数据的完整性:

  将linux系统的文件系统由ext2转至ext3,有以下几处优点:第一系统的可用性增强了,第二数据集成度提高,第三启动速度提高了,第四ext2与ext3文件系统之间相互转换容易。

  以下将新的文件系统mount到主分区ext3目录下:

本文由必威发布于操作系统,转载请注明出处:文件系统的日志隔离必威:,linux文件系统的日志