Schema Design Considerations(数据模型方面考虑)
Indexed Fields
indexed fields 的数量将会影响以下的一些性能:
- 索引时的时候的内存使用量
- 索引段的合并时间
- 优化时间
- 索引的大小
我们可以通过设置 omitNorms="true"
来减少indexed fields数量增加所带来的影响。
Stored Fields
Retrieving the stored fields 确实是一种开销。这个开销,受每个文档所存储的字节影响很大。每个文档的所占用的空间越大,文档就显的更稀疏,这样从硬盘中读取数据,就需要更多的 I/O 操作(通常,我们在存储比较大的域的时候,就会考虑这样的事情,比如存储一篇文章的文档)。
可以考虑将比较大的域放到 Solr 外面来存储。如果你觉得这样做会有些别扭的话,可以考虑使用压缩的域,但是这样会加重 CPU 在存储和读取域的时候的负担。不过这样却是可以减少 I/O 的负担。
如果,你并不是总是使用 stored fields 的话,可以使用 stored field 的延迟加载,这样可以节省很多的性能,尤其是使用 compressed field 的时候。
Configuration Considerations(配置方面考虑)
MergeFactor
这个是合并因子,这个参数大概决定了 segment(索引段)的数量。
合并因子这个值告诉 Lucene,在什么时候,要将几个 segment 合并成为一个 segment,合并因子就像是一个数字系统的基数一样。
比如说,如果你将合并因子设成 10,那么每往索引中添加 1000 个文档的时候,就会创建一个新的索引段。当第 10 个大小为 1000 的索引段添加进来的时候,这十个索引段就会被合并成一个大小为 10,000 的索引段。当十个大小为 10,000 的索引段生成的时候,它们就会被合并成一个大小为 100,000 的索引段。如此类推下去。
这个值可以在 solrconfig.xml 中的 mainIndex 中设置。(不用管 indexDefaults 中设置)
MergeFactor Tradeoffs
较高的合并因子:
- 会提高索引速度
- 较低频率的合并,会导致更多的索引文件,这会降低索引的搜索效率
较低的合并因子:
- 较少数量的索引文件,能加快索引的搜索速度
- 较高频率的合并,会降低索引的速度
Cache autoWarm Count Considerations
当一个新的 searcher 打开的时候,它缓存可以被预热,或者说使用从旧的 searcher 的缓存的数据来”自动加热”。autowarmCount 是这样的一个参数,它表示从旧缓存中拷贝到新缓存中的对象数量。autowarmCount 这个参数将会影响”自动预热”的时间。
有些时候,我们需要一些折中的考虑,searcher 启动的时间和缓存加热的程度。当然啦,缓存加热的程度越好,使用的时间就会越长,但往往,我们并不希望过长的 searcher 启动时间。这个 autowarm 参数可以在 solrconfig.xml 文件中被设置。
详细的配置可以参考 Solr 的 wiki。
Cache Hit Rate(缓存命中率)
我们可以通过 Solr 的 admin 界面来查看缓存的状态信息。提高 Solr 缓存的大小往往是提高性能的捷径。当你使用面搜索的时候,你或许可以注意一下 filterCache,这个是由 Solr 实现的缓存。
详细的内容可以参考 SolrCaching 这篇 wiki。
Explicit Warming of Sort Fields
如果你有许多域是基于排序的,那么你可以在 “newSearcher” 和 “firstSearcher” event listeners 中添加一些明显需要预热的查询,这样 FieldCache 就会缓存这部分内容。
Optimization Considerations
优化索引,是我们经常会做的事情,比如,当我们建立好索引,然后这个索引不会再变更的情况,我们就会做一次优化了。
但,如果你的索引经常会改变,那么你就需要好好的考虑下面的因素:
- 当越来越多的索引段被加进索引,查询的性能就会降低
- Lucene 对索引段的数量有一个上限的限制,当超过这个限制的时候,索引段可以自动合并成为一个
- 在同样没有缓存的情况下,一个没有经过优化的索引的性能会比经过优化的索引的性能少 10%
- 自动加热的时间将会变长,因为它依赖于搜索
- 优化将会对索引的分发产生影响
- 在优化期间,文件的大小将会是索引的两倍,不过最终将会回到它原来的大小,或者会更小一点
- 优化,会将所有的索引段合并成为一个索引段,所以,优化这个操作其实可以帮助避免 “too many files” 这个问题,这个错误是由文件系统抛出的
Updates and Commit Frequency Tradeoffs
如果从机太经常从主机更新的话,从机的性能是会受到影响的。为了避免,由于这个问题而引起的性能下降,我们还必须了解从机是怎样执行更新的,这样我们才能更准确去调节一些相关的参数(commit 的频率,spappullers,autowarming/autocount),这样,从机的更新才不会太频繁。
执行 commit 操作会让 Solr 新生成一个 snapshot。如果将 postCommit 参数设成 true 的话,optimization 也会执行 snapShot。slave 上的 Snappuller 程序一般是在 crontab 上面执行的,它会去 master 询问,有没有新版的 snapshot。一旦发现新的版本,slave 就会把它下载下来,然后 snapinstall。
每次当一个新的 searcher 被 open 的时候,会有一个缓存预热的过程,预热之后,新的索引才会交付使用。
这里讨论三个有关的参数:
Number/Frequency of Snapshots
snapshot的频率。
Snappullers
snappullers 是在crontab中的,它当然可以每秒一次、每天一次、或者其他的时间间隔一次运行。它运行的时候,只会下载slave上没有的,并且最新的版本。
Cache Autowarming
可以在solrconfig.xml文件中配置。
如果,你想要的效果是频繁的更新slave上的索引,以便这样看起来比较像”实时索引”。那么,你就需要让snapshot尽可能频繁的运行,然后也让snappuller频繁的运行。这样,我们或许可以每5分钟更新一次,并且还能取得不错的性能,当然啦,cache的命中率是很重要的,恩,缓存的加热时间也将会影响到更新的频繁度。
cache对性能是很重要的。一方面,新的缓存必须拥有足够的缓存量,这样接下来的的查询才能够从缓存中受益。另一方面,缓存的预热将可能占用很长一段时间,尤其是,它其实是只使用一个线程,和一个cpu在工作。snapinstaller太频繁的话,solr slave将会处于一个不太理想的状态,可能它还在预热一个新的缓存,然而一个更新的searcher被open了。
怎么解决这样的一个问题呢,我们可能会取消第一个searcher,然后去处理一个更新searcher,也即是第二个。然而有可能第二个searcher 还没有被使用上的时候,第三个又过来了。看吧,一个恶性的循环,不是。当然也有可能,我们刚刚预热好的时候就开始新一轮的缓存预热,其实,这样缓存的作用压根就没有能体现出来。出现这种情况的时候,降低snapshot的频率才是硬道理。
Query Response Compression
在有些情况下,我们可以考虑将solr xml response 压缩后才输出。如果response非常大,就会触及NIC i/o限制。
当然压缩这个操作将会增加cpu的负担,其实,solr一个典型的依赖于cpu处理速度的服务,增加这个压缩的操作,将无疑会降低查询性能。但是,压缩后的数据将会是压缩前的数据的6分之一的大小。然而solr的查询性能也会有15%左右的消耗。
至于怎样配置这个功能,要看你使用的什么服务器而定,可以查阅相关的文档。
Embedded vs HTTP Post
使用embedded 来建立索引,将会比使用xml格式来建立索引快50%。
RAM Usage Considerations(内存方面的考虑)
OutOfMemoryErrors
如果你的solr实例没有被指定足够多的内存的话,java virtual machine也许会抛outof memoryError,这个并不对索引数据产生影响。但是这个时候,任何的 adds/deletes/commits操作都是不能够成功的。
Memory Allocated to the Java VM
最简单的解决这个方法就是,当然前提是java virtual machine 还没有使用掉你全部的内存,增加运行solr的java虚拟机的内存。
Factors Affecting Memory Usage(影响内存使用量的因素)
我想,你或许也会考虑怎样去减少solr的内存使用量。
其中的一个因素就是input document的大小。
当我们使用xml执行add操作的时候,就会有两个限制:
- document中的field都是会被存进内存的,field有个属性叫maxFieldLength,它或许能帮上忙
- 每增加一个域,也是会增加内存的使用的