<div dir="ltr"><div><div><div>Hi,<br><br></div>I just started testing Quickfixn, and after fixing some initial issues I can definitely say that 1000 messages is no problem. Our test code pushes 5000 messages per second over a session and can run indefinitely (this is on my development machine that was fast in 2007. :) ).<br><br></div>To find the cause of your issue, I would try to find the first error and understand what causes it. Maybe the closed connection is the remote detecting a timing accuracy problem as well?<br><br></div><div>In my experience timing accuracy problems happen either when the computer clock is off (the intended cause), or that more processing than you think takes place in the reader thread.<br></div><div><br>Look at the logged fix messages (if they are not logged add some logging...), and compare the timestamp of the log message with the timestamps inside the FIX messages to check if they drift apart when many messages arrive.<br><br></div><div>Also, it could be useful to add logging for how long processing of a single message takes. (I.e., get the time first thing in the ToApp method and then compute the spend time and log it before returning.)<br></div><div><div><div><div><br>Staffan<br><br></div></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Nov 5, 2014 at 8:53 AM, Shamon, John <span dir="ltr"><<a href="mailto:jshamon@semprausgp.com" target="_blank">jshamon@semprausgp.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div link="blue" vlink="purple" lang="EN-US">
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Hello All,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">I’m using QuickFix with ICE<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">I have been experiencing the issue with timing, latency, network traffic whatever you call it as in the below 2 errors.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">I understand that the callbacks are time sensitive,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">My application was crashing after receiving 20-40 trades (AE messages).<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Also I realized there are 4 factors<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span>1-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Overhead through the code<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span>2-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Virus scanner spamware filters<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span>3-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">sTunnel<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span>4-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Resources – CPU and RAM<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Now here is what I changed<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span>1-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Used 8 CPU – 16 GB RAM<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span>2-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Remove the overhead (sending data to DB), to multithread process, so the main thread with OnMessage(s) keep going without slowing down.<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span>3-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Stopped virus scanner temporary<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span>4-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">sTunnel … can’t do anything about it
<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span>5-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">set the Max latency to 4000 form 380<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">After consider improving all of the above, I was able to resolve the 2 below errors that they always happen, so now running on 100 trades (AE message) is pretty smooth.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Now I decided to benchmark this, so I have created 1000 trades in ICE test market<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">I was able to load no more than 700 trades (AE messages), then the Sending Time Accuracy happened again!!<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">After that I stopped from doing any other process (like sending data over to DB), #1 above (completely eliminated for the sake of testing), so I did have nothing except the
 callbacks AQ AE messages and heartbeats.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">I failed again around 700 trades (AE) messages<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><u></u> <u></u></span></p>
<p class="MsoNormal"><u><u></u><span style="text-decoration:none"> </span><u></u></u></p>
<p><u></u><span>1-<span style="font:7.0pt "Times New Roman"">    
</span></span><u></u><u>I’m getting the error below:<u></u><u></u></u></p>
<p class="MsoNormal">System.Net.Sockets.SocketException (0x80004005): An existing connection was forcibly closed by the remote host<u></u><u></u></p>
<p class="MsoNormal">   at System.Net.Sockets.Socket.Receive(Byte[] buffer, Int32 offset, Int32 size, SocketFlags socketFlags)<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p><u></u><span>2-<span style="font:7.0pt "Times New Roman"">    
</span></span><u></u><u>Another error that I get:<u></u><u></u></u></p>
<p class="MsoNormal">SendingTime accuracy <u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Can I say I reached the limit when I try to download bunch of AE messages on a snapshot- initial start as in this test?<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Can someone share with me how much data they can download at a time?<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Any other suggestions?<span class="HOEnZb"><font color="#888888"><u></u><u></u></font></span></span></p><span class="HOEnZb"><font color="#888888">
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">-John<u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
</font></span></div>
</div>

<br>_______________________________________________<br>
Quickfixn mailing list<br>
<a href="mailto:Quickfixn@lists.quickfixn.com">Quickfixn@lists.quickfixn.com</a><br>
<a href="http://lists.quickfixn.com/listinfo.cgi/quickfixn-quickfixn.com" target="_blank">http://lists.quickfixn.com/listinfo.cgi/quickfixn-quickfixn.com</a><br>
<br></blockquote></div><br></div>