Solr配置：索引段与合并策略深度优化指南

Posted on 二月 17, 2025 本文总阅读量次

Solr配置：索引段与合并策略深度优化指南

Lucene索引以段的形式存储，Solr提供了多个参数来控制如何写入新段以及何时合并段。理解和优化这些配置对Solr的性能至关重要。

索引段的基本概念

Lucene索引是”写一次”文件：一旦段写入永久存储（磁盘），它就永远不会被修改。这意味着索引实际上由多个文件组成，每个文件都是完整索引的子集。为了防止索引的永久碎片化，段会定期合并。

solrconfig.xml中的<indexConfig>配置

<indexConfig>部分定义了Lucene索引写入器的低级行为。

默认情况下，Solr包含的示例solrconfig.xml中这些设置被注释掉，这意味着使用默认值。在大多数情况下，默认值是合适的。

1
2
3

<indexConfig>
  ...
</indexConfig>

新段写入配置

以下配置项控制何时将新段”刷新”到磁盘：

ramBufferSizeMB

当累积的文档更新超过此内存空间（以兆字节定义）时，等待的更新将被刷新。这也可能创建新段或触发合并。使用此设置通常比maxBufferedDocs更可取。如果同时设置了maxBufferedDocs和ramBufferSizeMB，则在达到任一限制时都会发生刷新。默认值为100MB。

1	<ramBufferSizeMB>100</ramBufferSizeMB>

maxBufferedDocs

设置在将文档更新刷新为新段之前在内存中缓冲的文档更新数量。这也可能触发合并。默认的Solr配置设置为按RAM使用量（ramBufferSizeMB）刷新。

1	<maxBufferedDocs>1000</maxBufferedDocs>

useCompoundFile

控制新写入（尚未合并）的索引段是否应使用复合文件段格式。默认值为false。

1	<useCompoundFile>false</useCompoundFile>

ramPerThreadHardLimitMB

设置每个线程的最大内存消耗（以兆字节定义），如果超过将触发强制刷新。给定值必须大于0且小于2048MB（2GB）。

1	<ramPerThreadHardLimitMB>1945</ramPerThreadHardLimitMB>

注意：这是专家级参数，即使未超过ramBufferSizeMB，它也会触发强制刷新。

索引段合并配置

以下设置定义何时合并段：

mergePolicyFactory

定义段合并的执行方式。

Solr的默认策略是TieredMergePolicy，它合并大约相等大小的段，受每层允许段数量的限制。

其他可用策略包括LogByteSizeMergePolicy和LogDocMergePolicy。

<mergePolicyFactory class="org.apache.solr.index.TieredMergePolicyFactory">
  <int name="maxMergeAtOnce">10</int>
  <int name="segmentsPerTier">10</int>
  <int name="targetSearchConcurrency">1</int>
  <double name="forceMergeDeletesPctAllowed">10.0</double>
  <double name="deletesPctAllowed">33.0</double>
</mergePolicyFactory>

控制段大小

用户对TieredMergePolicy配置最常见的调整是”合并因子”，用于改变一次应合并多少段，以及在TieredMergePolicy情况下的最大合并段大小。

对于TieredMergePolicy，这通过设置以下选项控制：

maxMergeAtOnce（默认10）
segmentsPerTier（默认10）
maxMergedSegmentMB（默认5000）

选择最佳合并因子通常是索引速度与搜索速度之间的权衡：

较少段数：通常加速搜索，因为要查找的地方更少，也可能减少磁盘上的物理文件数量，但合并发生更频繁，增加系统负载
较多段数：可以加速索引，因为合并发生较少，但搜索变得更昂贵且可能更慢

控制已删除文档百分比

当文档被删除或更新时，文档被标记为已删除但不会从索引中移除，直到段被合并。使用默认TieredMergePolicy时有两个参数可以调整：

forceMergeDeletesPctAllowed（默认：10.0）：
当发出外部expungeDeletes命令时，任何删除文档超过此百分比的段将被合并到新段中，与删除文档相关的数据将被清除。值为0.0将使expungeDeletes的行为基本上与optimize相同。

deletesPctAllowed（默认：33.0）：
在正常段合并期间，会尽力确保索引中已删除文档的总百分比低于此阈值。有效设置在20%到50%之间。选择33%作为默认值，因为当此设置接近20%时，会给系统增加相当大的负载。

自定义合并策略

如果内置合并策略的配置选项不能完全满足您的用例，您可以通过创建自定义合并策略工厂或配置包装器来自定义它们：

<mergePolicyFactory class="org.apache.solr.index.SortingMergePolicyFactory">
  <str name="sort">timestamp desc</str>
  <str name="wrapped.prefix">inner</str>
  <str name="inner.class">org.apache.solr.index.TieredMergePolicyFactory</str>
  <int name="inner.maxMergeAtOnce">10</int>
  <int name="inner.segmentsPerTier">10</int>
</mergePolicyFactory>

mergeScheduler

合并调度器控制如何执行合并。默认的ConcurrentMergeScheduler使用单独的线程在后台执行合并。替代的SerialMergeScheduler不使用单独的线程执行合并。

ConcurrentMergeScheduler具有以下可配置属性，这些属性的默认值根据底层磁盘驱动器是否为旋转磁盘动态设置：

maxMergeCount：允许的最大同时合并数量
maxThreadCount：应同时运行的最大合并线程数量
ioThrottle：明确控制I/O限流的布尔值

<mergeScheduler class="org.apache.lucene.index.ConcurrentMergeScheduler">
  <int name="maxMergeCount">9</int>
  <int name="maxThreadCount">4</int>
</mergeScheduler>

mergedSegmentWarmer

当使用Solr进行近实时使用案例时，可以配置合并段预热器在合并提交之前预热新合并段上的读取器。这不是近实时搜索所必需的，但会减少合并完成后打开新近实时读取器时的搜索延迟。

1	<mergedSegmentWarmer class="org.apache.lucene.index.SimpleMergedSegmentWarmer"/>

复合文件段

每个Lucene段通常由十几个文件组成。Solr可以配置为将Lucene段的所有文件捆绑到一个复合文件中，使用.cfs扩展名（”复合文件段”）。

CFS段可能会因各种原因产生轻微的性能损失，具体取决于运行时环境。例如，文件系统缓冲区通常与打开的文件描述符相关联，这可能限制每个索引可用的总缓存空间。

在每个进程允许打开文件数量有限的系统上，CFS可能避免达到该限制。

索引锁

lockType

LockFactory选项指定要使用的锁定实现。有效的锁类型选项取决于您配置的DirectoryFactory。

StandardDirectoryFactory（默认）支持的值：

native（默认）：使用本机OS文件锁定
simple：使用简单文件进行锁定
single（专家级）：用于只读索引目录的特殊情况
hdfs：支持读写索引和事务日志文件到HDFS文件系统

1	<lockType>native</lockType>

writeLockTimeout

在IndexWriter上等待写锁的最长时间。默认值为1000，以毫秒表示。

1	<writeLockTimeout>1000</writeLockTimeout>

其他索引设置

deletionPolicy

控制在回滚情况下如何保留提交。默认值为SolrDeletionPolicy：

<deletionPolicy class="solr.SolrDeletionPolicy">
  <str name="maxCommitsToKeep">1</str>
  <str name="maxOptimizedCommitsToKeep">0</str>
  <str name="maxCommitAge">1DAY</str>
</deletionPolicy>

infoStream

InfoStream设置指示底层Lucene类将索引过程的详细调试信息写入Solr日志消息。请注意，启用此功能可能会大幅增加日志大小并在高流量系统中造成一些性能滞后。默认值为false。

1	<infoStream>false</infoStream>

性能优化建议

根据使用场景调整合并策略：频繁更新的系统可能需要较大的ramBufferSizeMB
监控段数量：通过Admin UI的段信息屏幕监控段状态
合理设置删除文档百分比：避免过多的已删除文档影响性能
根据硬件选择合并调度器：SSD可以使用更高的并发合并
定期监控和调整：根据实际负载调整参数

通过合理配置索引段和合并策略，可以显著提高Solr的索引和查询性能。建议在生产环境中逐步调整参数，并持续监控性能指标。