gremlinable (gremlinable) wrote in ru_freebsd,
gremlinable
gremlinable
ru_freebsd

ZFS вешает систему при активной записи на raidz

Добрый день!
Прошу помощи в поиске и решении проблемы с файлопомойкой. Есть сервак (amd64, 8GB RAM) на десятке с дисковым массивом, объединённым в Raid-Z (5 x 2TB WD Red). Сама система так же стоит на ZFS, но на отдельном SSD. Сервак используется в том числе для регулярного деланья бекапов с других серверов с помощью rsync (причём, ряд серверов доступен через OpenVPN). В определённый момент начала проявляться проблема - в какой-то момент при определённых положениях звёзд сервер в процессе сливания бекапов виснет. Причём на мышку/клаву он реагирует, но первая же операция, требующая считывание чего-либо с диска намертво уходит в себя и ни на что не реагирует. По сети сервак тоже перестаёт быть доступен. Перезагрузка становится возможна только резетом, после чего система надолго зависает в стадии "mounting local filesystems". Надолго - это на несколько часов, а один раз провисела в этом состоянии трое суток, после чего я ребутнул и оживлял систему из сингл-мод.
zpool, smart и прочие каких-либо проблем с дисками и рейдом не обнаруживают, мем-тест прогонял, zfs-stat тоже ничего интересного не показывает, размеры ARC вменяемые (разрешено 7Гиг, реально до 5.6 растёт). Куда копать и кто слабое звено не понимаю.
Подскажите, как мне хотя бы зацепиться за источник проблемы?
Кстати, на рейде включена дедуплекация и компрессия. Наверное, я не прав, не стоило это включать одновременно?


Информация о системе
# zpool status -v
   pool: zdata
  state: ONLINE
   scan: none requested
 config:

         NAME        STATE     READ WRITE CKSUM
         zdata       ONLINE       0     0     0
           raidz1-0  ONLINE       0     0     0
             ada1    ONLINE       0     0     0
             ada2    ONLINE       0     0     0
             ada3    ONLINE       0     0     0
             ada4    ONLINE       0     0     0
             ada5    ONLINE       0     0     0

 errors: No known data errors

   pool: zroot
  state: ONLINE
   scan: none requested
 config:

         NAME                                          STATE     READ WRITE CKSUM
         zroot                                         ONLINE       0     0     0
           gptid/d7bf94fd-a438-11e3-8231-94de80b1a491  ONLINE       0     0     0

 errors: No known data errors



# zfs-stats -a

 ------------------------------------------------------------------------
 ZFS Subsystem Report                            Wed Jan  6 12:21:50 2016
 ------------------------------------------------------------------------

 System Information:

         Kernel Version:                         1002000 (osreldate)
         Hardware Platform:                      amd64
         Processor Architecture:                 amd64

         ZFS Storage pool Version:               5000
         ZFS Filesystem Version:                 5

 FreeBSD 10.2-RELEASE-p7 #0: Mon Nov 2 14:19:39 UTC 2015 root
 12:21PM  up 16:18, 2 users, load averages: 0.35, 0.33, 0.32

 ------------------------------------------------------------------------

 System Memory:

         0.11%   8.55    MiB Active,     0.45%   34.96   MiB Inact
         96.45%  7.36    GiB Wired,      0.00%   96.00   KiB Cache
         2.99%   234.14  MiB Free,       0.00%   0 Gap

         Real Installed:                         8.00    GiB
         Real Available:                 98.30%  7.86    GiB
         Real Managed:                   97.09%  7.63    GiB

         Logical Total:                          8.00    GiB
         Logical Used:                   96.71%  7.74    GiB
         Logical Free:                   3.29%   269.20  MiB

 Kernel Memory:                                  162.64  MiB
         Data:                           83.47%  135.76  MiB
         Text:                           16.53%  26.88   MiB

 Kernel Memory Map:                              7.63    GiB
         Size:                           52.35%  4.00    GiB
         Free:                           47.65%  3.64    GiB

 ------------------------------------------------------------------------

 ARC Summary: (HEALTHY)
         Memory Throttle Count:                  0

 ARC Misc:
         Deleted:                                9.09m
         Recycle Misses:                         7.26m
         Mutex Misses:                           1.12k
         Evict Skips:                            34.31m

 ARC Size:                               82.17%  5.45    GiB
         Target Size: (Adaptive)         82.18%  5.45    GiB
         Min Size (Hard Limit):          12.50%  849.27  MiB
         Max Size (High Water):          8:1     6.63    GiB

 ARC Size Breakdown:
         Recently Used Cache Size:       93.46%  5.10    GiB
         Frequently Used Cache Size:     6.54%   364.90  MiB

 ARC Hash Breakdown:
         Elements Max:                           1.21m
         Elements Current:               46.53%  564.33k
         Collisions:                             6.58m
         Chain Max:                              14
         Chains:                                 109.96k

 ------------------------------------------------------------------------

 ARC Efficiency:                                 316.81m
         Cache Hit Ratio:                96.09%  304.42m
         Cache Miss Ratio:               3.91%   12.39m
         Actual Hit Ratio:               59.84%  189.57m

         Data Demand Efficiency:         98.50%  892.78k
         Data Prefetch Efficiency:       22.71%  7.30k

         CACHE HITS BY CACHE LIST:
           Anonymously Used:             36.91%  112.37m
           Most Recently Used:           19.67%  59.89m
           Most Frequently Used:         42.60%  129.68m
           Most Recently Used Ghost:     0.21%   632.61k
           Most Frequently Used Ghost:   0.61%   1.84m

         CACHE HITS BY DATA TYPE:
           Demand Data:                  0.29%   879.42k
           Prefetch Data:                0.00%   1.66k
           Demand Metadata:              61.98%  188.69m
           Prefetch Metadata:            37.73%  114.84m

         CACHE MISSES BY DATA TYPE:
           Demand Data:                  0.11%   13.36k
           Prefetch Data:                0.05%   5.64k
           Demand Metadata:              86.66%  10.74m
           Prefetch Metadata:            13.18%  1.63m

 ------------------------------------------------------------------------

 L2ARC is disabled

 ------------------------------------------------------------------------

 File-Level Prefetch: (HEALTHY)

 DMU Efficiency:                                 196.65m
         Hit Ratio:                      81.03%  159.34m
         Miss Ratio:                     18.97%  37.31m

         Colinear:                               37.31m
           Hit Ratio:                    0.02%   6.40k
           Miss Ratio:                   99.98%  37.31m

         Stride:                                 156.03m
           Hit Ratio:                    99.99%  156.01m
           Miss Ratio:                   0.01%   20.31k

 DMU Misc:
         Reclaim:                                37.31m
           Successes:                    0.09%   32.93k
           Failures:                     99.91%  37.27m

         Streams:                                3.32m
           +Resets:                      0.00%   154
           -Resets:                      100.00% 3.32m
           Bogus:                                0

 ------------------------------------------------------------------------

 VDEV cache is disabled

 ------------------------------------------------------------------------

 ZFS Tunables (sysctl):
         kern.maxusers                           839
         vm.kmem_size                            8197922816
         vm.kmem_size_scale                      1
         vm.kmem_size_min                        0
         vm.kmem_size_max                        1319413950874
         vfs.zfs.trim.max_interval               1
         vfs.zfs.trim.timeout                    30
         vfs.zfs.trim.txg_delay                  32
         vfs.zfs.trim.enabled                    1
         vfs.zfs.vol.unmap_enabled               1
         vfs.zfs.vol.mode                        1
         vfs.zfs.version.zpl                     5
         vfs.zfs.version.spa                     5000
         vfs.zfs.version.acl                     1
         vfs.zfs.version.ioctl                   4
         vfs.zfs.debug                           0
         vfs.zfs.super_owner                     0
         vfs.zfs.sync_pass_rewrite               2
         vfs.zfs.sync_pass_dont_compress         5
         vfs.zfs.sync_pass_deferred_free         2
         vfs.zfs.zio.exclude_metadata            0
         vfs.zfs.zio.use_uma                     1
         vfs.zfs.cache_flush_disable             0
         vfs.zfs.zil_replay_disable              0
         vfs.zfs.min_auto_ashift                 9
         vfs.zfs.max_auto_ashift                 13
         vfs.zfs.vdev.trim_max_pending           10000
         vfs.zfs.vdev.bio_delete_disable         0
         vfs.zfs.vdev.bio_flush_disable          0
         vfs.zfs.vdev.write_gap_limit            4096
         vfs.zfs.vdev.read_gap_limit             32768
         vfs.zfs.vdev.aggregation_limit          131072
         vfs.zfs.vdev.trim_max_active            64
         vfs.zfs.vdev.trim_min_active            1
         vfs.zfs.vdev.scrub_max_active           2
         vfs.zfs.vdev.scrub_min_active           1
         vfs.zfs.vdev.async_write_max_active     10
         vfs.zfs.vdev.async_write_min_active     1
         vfs.zfs.vdev.async_read_max_active      3
         vfs.zfs.vdev.async_read_min_active      1
         vfs.zfs.vdev.sync_write_max_active      10
         vfs.zfs.vdev.sync_write_min_active      10
         vfs.zfs.vdev.sync_read_max_active       10
         vfs.zfs.vdev.sync_read_min_active       10
         vfs.zfs.vdev.max_active                 1000
         vfs.zfs.vdev.async_write_active_max_dirty_percent60
         vfs.zfs.vdev.async_write_active_min_dirty_percent30
         vfs.zfs.vdev.mirror.non_rotating_seek_inc1
         vfs.zfs.vdev.mirror.non_rotating_inc    0
         vfs.zfs.vdev.mirror.rotating_seek_offset1048576
         vfs.zfs.vdev.mirror.rotating_seek_inc   5
         vfs.zfs.vdev.mirror.rotating_inc        0
         vfs.zfs.vdev.trim_on_init               1
         vfs.zfs.vdev.cache.bshift               16
         vfs.zfs.vdev.cache.size                 0
         vfs.zfs.vdev.cache.max                  16384
         vfs.zfs.vdev.metaslabs_per_vdev         200
         vfs.zfs.txg.timeout                     5
         vfs.zfs.space_map_blksz                 4096
         vfs.zfs.spa_slop_shift                  5
         vfs.zfs.spa_asize_inflation             24
         vfs.zfs.deadman_enabled                 1
         vfs.zfs.deadman_checktime_ms            5000
         vfs.zfs.deadman_synctime_ms             1000000
         vfs.zfs.recover                         0
         vfs.zfs.spa_load_verify_data            1
         vfs.zfs.spa_load_verify_metadata        1
         vfs.zfs.spa_load_verify_maxinflight     10000
         vfs.zfs.check_hostid                    1
         vfs.zfs.mg_fragmentation_threshold      85
         vfs.zfs.mg_noalloc_threshold            0
         vfs.zfs.condense_pct                    200
         vfs.zfs.metaslab.bias_enabled           1
         vfs.zfs.metaslab.lba_weighting_enabled  1
         vfs.zfs.metaslab.fragmentation_factor_enabled1
         vfs.zfs.metaslab.preload_enabled        1
         vfs.zfs.metaslab.preload_limit          3
         vfs.zfs.metaslab.unload_delay           8
         vfs.zfs.metaslab.load_pct               50
         vfs.zfs.metaslab.min_alloc_size         33554432
         vfs.zfs.metaslab.df_free_pct            4
         vfs.zfs.metaslab.df_alloc_threshold     131072
         vfs.zfs.metaslab.debug_unload           0
         vfs.zfs.metaslab.debug_load             0
         vfs.zfs.metaslab.fragmentation_threshold70
         vfs.zfs.metaslab.gang_bang              16777217
         vfs.zfs.free_max_blocks                 -1
         vfs.zfs.no_scrub_prefetch               0
         vfs.zfs.no_scrub_io                     0
         vfs.zfs.resilver_min_time_ms            3000
         vfs.zfs.free_min_time_ms                1000
         vfs.zfs.scan_min_time_ms                1000
         vfs.zfs.scan_idle                       50
         vfs.zfs.scrub_delay                     4
         vfs.zfs.resilver_delay                  2
         vfs.zfs.top_maxinflight                 32
         vfs.zfs.zfetch.array_rd_sz              1048576
         vfs.zfs.zfetch.block_cap                256
         vfs.zfs.zfetch.min_sec_reap             2
         vfs.zfs.zfetch.max_streams              8
         vfs.zfs.prefetch_disable                0
         vfs.zfs.delay_scale                     500000
         vfs.zfs.delay_min_dirty_percent         60
         vfs.zfs.dirty_data_sync                 67108864
         vfs.zfs.dirty_data_max_percent          10
         vfs.zfs.dirty_data_max_max              4294967296
         vfs.zfs.dirty_data_max                  844396953
         vfs.zfs.max_recordsize                  1048576
         vfs.zfs.mdcomp_disable                  0
         vfs.zfs.nopwrite_enabled                1
         vfs.zfs.dedup.prefetch                  1
         vfs.zfs.l2c_only_size                   0
         vfs.zfs.mfu_ghost_data_lsize            4204567552
         vfs.zfs.mfu_ghost_metadata_lsize        699420672
         vfs.zfs.mfu_ghost_size                  4903988224
         vfs.zfs.mfu_data_lsize                  199680
         vfs.zfs.mfu_metadata_lsize              3733504
         vfs.zfs.mfu_size                        9319424
         vfs.zfs.mru_ghost_data_lsize            0
         vfs.zfs.mru_ghost_metadata_lsize        391472128
         vfs.zfs.mru_ghost_size                  391472128
         vfs.zfs.mru_data_lsize                  4080406016
         vfs.zfs.mru_metadata_lsize              1161030144
         vfs.zfs.mru_size                        5462962176
         vfs.zfs.anon_data_lsize                 0
         vfs.zfs.anon_metadata_lsize             0
         vfs.zfs.anon_size                       32768
         vfs.zfs.l2arc_norw                      1
         vfs.zfs.l2arc_feed_again                1
         vfs.zfs.l2arc_noprefetch                1
         vfs.zfs.l2arc_feed_min_ms               200
         vfs.zfs.l2arc_feed_secs                 1
         vfs.zfs.l2arc_headroom                  2
         vfs.zfs.l2arc_write_boost               8388608
         vfs.zfs.l2arc_write_max                 8388608
         vfs.zfs.arc_meta_limit                  1781045248
         vfs.zfs.arc_free_target                 13926
         vfs.zfs.arc_shrink_shift                5
         vfs.zfs.arc_average_blocksize           8192
         vfs.zfs.arc_min                         890522624
         vfs.zfs.arc_max                         7124180992

# zfs get all zdata
 NAME   PROPERTY              VALUE                  SOURCE
 zdata  type                  filesystem             -
 zdata  creation              Wed Feb 19  6:58 2014  -
 zdata  used                  11.5T                  -
 zdata  available             1.57T                  -
 zdata  referenced            268K                   -
 zdata  compressratio         1.20x                  -
 zdata  mounted               yes                    -
 zdata  quota                 none                   default
 zdata  reservation           none                   default
 zdata  recordsize            128K                   default
 zdata  mountpoint            /zdata                 local
 zdata  sharenfs              off                    default
 zdata  checksum              on                     default
 zdata  compression           lz4                    local
 zdata  atime                 on                     default
 zdata  devices               on                     default
 zdata  exec                  on                     default
 zdata  setuid                on                     default
 zdata  readonly              off                    default
 zdata  jailed                off                    default
 zdata  snapdir               hidden                 default
 zdata  aclmode               discard                default
 zdata  aclinherit            restricted             default
 zdata  canmount              on                     default
 zdata  xattr                 off                    temporary
 zdata  copies                1                      default
 zdata  version               5                      -
 zdata  utf8only              off                    -
 zdata  normalization         none                   -
 zdata  casesensitivity       sensitive              -
 zdata  vscan                 off                    default
 zdata  nbmand                off                    default
 zdata  sharesmb              off                    default
 zdata  refquota              none                   default
 zdata  refreservation        none                   default
 zdata  primarycache          all                    default
 zdata  secondarycache        all                    default
 zdata  usedbysnapshots       0                      -
 zdata  usedbydataset         268K                   -
 zdata  usedbychildren        11.5T                  -
 zdata  usedbyrefreservation  0                      -
 zdata  logbias               latency                default
 zdata  dedup                 on                     local
 zdata  mlslabel                                     -
 zdata  sync                  standard               default
 zdata  refcompressratio      1.00x                  -
 zdata  written               268K                   -
 zdata  logicalused           13.6T                  -
 zdata  logicalreferenced     45K                    -
 zdata  volmode               default                default
 zdata  filesystem_limit      none                   default
 zdata  snapshot_limit        none                   default
 zdata  filesystem_count      none                   default
 zdata  snapshot_count        none                   default
 zdata  redundant_metadata    all                    default
  • Post a new comment

    Error

    Comments allowed for members only

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 26 comments