围炉网

一行代码,一篇日志,一个梦想,一个世界

SolrCloud = Solr 4.6.1 + Apache Tomcat 8.0.1 + zookeeper3.4.5

sudo vi /etc/hosts if find something like 127.0.1.1
#127.0.1.1      ubx1
192.168.1.106   ubx1zookeeper
set zookeeper conf file  conf/zoo.cfg
dataDir=/home/adamslee/zookeeper-3.4.5/dataserver.1=192.168.1.106:2879:3879
server.2=192.168.1.107:2879:3879
server.3=192.168.1.108:2879:3879dataLogDir=/home/myuser/zooA/logdataLogDir:用于单独设置transaction log的目录,transaction log分离可以避免和普通log还有快照的竞争在/home/adamslee/zookeeper-3.4.5/data/目录新建myid文件,内容为1。
sudo sh -c ‘echo "1" >> myid’在其他server上新建myid文件start zookeeper
sh bin/zkServer startinstall tomcat on all servers 
unzip solr .zip fileunzip apache tomcat .zip filerename solr-4.6.1/dist/solr.4.6.1.war to solr.war, and copy it to <TOMCAT_HOME>/webappsunzip solr.war update apache-tomcat-8.0.1/conf/server.xml
     <Connector port="8983" maxHttpHeaderSize="8192" maxThreads="150" minSpareThreads="25" maxSpareThreads="75" enableLookups="false" redirectPort="8443" acceptCount="100" connectionTimeout="20000" disableUploadTimeout="true" URIEncoding="UTF-8" />创建solr.xml文件放于<TOMCAT_HOME>/conf/Catalina/localhost,内容如下:
<?xml version="1.0" encoding="UTF-8" ?>
<Context docBase="/home/adamslee/apache-tomcat-8.0.1/webapps/solr.war" debug="0" crossContext="true">
    <Environment name="solr/home" type="java.lang.String" value="/home/adamslee/lbse" override="true"/>
     <Resource name="jdbc/my-database" auth="Container" type="javax.sql.DataSource" username="sa" password="" driverClassName="org.hsqldb.jdbcDriver" url="jdbc:hsqldb:hsql://192.168.1.104/ex" maxActive="-1"/>
</Context> copy jar 
cp solr-4.3.1/example/lib/ext/* <TOMCAT_HOME>/webapps/solr/WEB-INF/lib/
mdkir -p <TOMCAT_HOME>/webapps/solr/WEB-INF/classes/
cp solr-4.3.1/example/resources/log4j.properties <TOMCAT_HOME>/webapps/solr/WEB-INF/classescopy \hsqldb\lib\hsqldb\*.jar if you are using hsqldb (数据库对应的jdbc驱动包,如Oracle oracle10g.jar)update catalina.sh: add line below
export JAVA_OPTS="-DzkHost=192.168.1.106:2181,192.168.1.107:2181,192.168.1.108:2181"upload solr cloud conf to zookeeper
java -classpath .:/home/adamslee/apache-tomcat-8.0.1/webapps/solr/WEB-INF/lib/*:/home/adamslee/apache-tomcat-8.0.1/lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost 192.168.1.106:2181,192.168.1.107:2181,192.168.1.108:2181 -confdir /home/adamslee/exconf -confname exconf
java -classpath .:/home/adamslee/apache-tomcat-8.0.1/webapps/solr/WEB-INF/lib/*:/home/adamslee/apache-tomcat-8.0.1/lib/* org.apache.solr.cloud.ZkCLI -cmd linkconfig -collection stores -confname exconf -zkhost 192.168.1.106:2181,192.168.1.107:2181,192.168.1.108:2181
java -classpath .:/home/adamslee/apache-tomcat-8.0.1/webapps/solr/WEB-INF/lib/*:/home/adamslee/apache-tomcat-8.0.1/lib/* org.apache.solr.cloud.ZkCLI -cmd bootstrap -zkhost 192.168.1.106:2181,192.168.1.107:2181,192.168.1.108:2181 -solrhome /home/adamslee/lbsecreate collection
http://192.168.1.107:8080/solr/admin/collections?action=CREATE&name=stores&numShards=1&replicationFactor=2&collection.configName=exconfadd core into collection
http://192.168.1.108:8080/solr/admin/cores?action=CREATE&name=stores_shard1_replica3&collection=stores&shard=shard1notes for conf
 <fieldType name="sint" class="solr.TrieIntField" sortMissingLast="true" omitNorms="true"/>data import handler
将 apache-solr-dataimportscheduler-1.0.jar 和solr自带的 apache-solr-dataimporthandler-.jar, apache-solr-dataimporthandler-extras-.jar 放到 <TOMCAT_HOME>/webapps/solr/lib 目录下面https://code.google.com/p/solr-dataimport-scheduler/修改solr.war中WEB-INF/web.xml, 在servlet节点前面增加:       <listener>
        <listener-class>
                org.apache.solr.handler.dataimport.scheduler.ApplicationListener
        </listener-class>
       </listener>将apache-solr-dataimportscheduler-.jar 中 dataimport.properties 取出并根据实际情况修改,然后放到 solr.home/conf (不是solr.home/core/conf) 目录下面DIH内存溢出错误
在使用DIH时,容易报内存溢出错误。可以通过设置jvm大小来解决。设置方法如下:
在tomcat\bin\startup.bat 加入SET JAVA_OPTS=-Xms128m -Xmx1024m 配置 这里设置的是1024M,根据情况可以适量增大 

Continue Reading

使用Apache Solr对数据库建立索引(包括处理CLOB、CLOB)

以下资料整理自网络,觉的有必要合并在一起,这样方便查看。主要分为两部分,第一部分是对《db-data-config.xml》的配置内容的讲解(属于高级内容),第二部分是DataImportHandler(属于基础),第三部分是对db-data-config.xml的进阶(这个国内可能还没有人写过啊,我在google、baidu上都没有搜索到,最后可是拔代码,看solr的英文文档找的)

Continue Reading
沪ICP备15009335号-2