Output bug fixed(stripping text data at the end of processing in _processPlaceholders). Ticket #5 fixed.

10 files changed, 48 insertions, 42 deletions

diff --git a/tests/misc/arabic.html b/tests/misc/arabic.html
index ab4cc13..830d62a 100644
--- a/tests/misc/arabic.html
+++ b/tests/misc/arabic.html
@@ -1,17 +1,17 @@
 <h1>بايثون</h1>
 <p>
-<strong>بايثون</strong>لغة برمجة حديثة بسيطة، واضحة، سريعة ، تستخدم أسلوب البرمجة الكائنية (OOP) وقابلة للتطوير بالإضافة إلى أنها مجانية و مفتوحة المصدر. صُنفت بالأساس كلغة تفسيرية ، بايثون مصممة أصلاً للأداء بعض المهام الخاصة أو المحدودة. إلا أنه يمكن استخدامها بايثون لإنجاز المشاريع الضخمه كأي لغة برمجية أخرى،  غالباً ما يُنصح المبتدئين في ميدان البرمجة بتعلم هذه اللغة لأنها من بين أسهل اللغات البرمجية تعلماً.</p>
+  <strong>بايثون</strong> لغة برمجة حديثة بسيطة، واضحة، سريعة ، تستخدم أسلوب البرمجة الكائنية (OOP) وقابلة للتطوير بالإضافة إلى أنها مجانية و مفتوحة المصدر. صُنفت بالأساس كلغة تفسيرية ، بايثون مصممة أصلاً للأداء بعض المهام الخاصة أو المحدودة. إلا أنه يمكن استخدامها بايثون لإنجاز المشاريع الضخمه كأي لغة برمجية أخرى،  غالباً ما يُنصح المبتدئين في ميدان البرمجة بتعلم هذه اللغة لأنها من بين أسهل اللغات البرمجية تعلماً.</p>
 <p>نشأت بايثون في مركز CWI (مركز العلوم والحاسب الآلي) بأمستردام على يد جويدو فان رُزوم. تم تطويرها بلغة C. أطلق فان رُزوم اسم "بايثون" على لغته تعبيرًا عن إعجابه بفِرقَة مسرحية هزلية شهيرة من بريطانيا، كانت تطلق على نفسها اسم مونتي بايثون Monty Python.</p>
 <p>تتميز بايثون بمجتمعها النشط ، كما أن لها الكثير من المكتبات البرمجية ذات الأغراض الخاصة والتي برمجها أشخاص من مجتمع هذه اللغة ، مثلاً مكتبة PyGame التي توفر مجموعه من الوظائف من اجل برمجة الالعاب. ويمكن لبايثون التعامل مع العديد من أنواع قواعد البيانات مثل MySQL وغيره.</p>
 <h2>أمثلة</h2>
 <p>مثال Hello World!</p>
 <pre>
-<code>print "Hello World!"
+  <code>print "Hello World!"
 </code>
 </pre>
 <p>مثال لاستخراج المضروب Factorial :</p>
 <pre>
-<code>num = 1
+  <code>num = 1
 x = raw_input('Insert the number please ')
 x = int(x)
 
@@ -27,8 +27,9 @@ else:
 </pre>
 <h2>وصلات خارجية</h2>
 <ul>
-<li>
-<a href="http://www.python.org">الموقع الرسمي للغة بايثون</a>
-</li>
+  <li>
+    <a href="http://www.python.org">الموقع الرسمي للغة بايثون</a>
+  </li>
 </ul>
-<p>بذرة حاس</p>
+<p> بذرة حاس </p>
+
diff --git a/tests/misc/bidi.html b/tests/misc/bidi.html
index 1959181..e7759f1 100644
--- a/tests/misc/bidi.html
+++ b/tests/misc/bidi.html
@@ -1,17 +1,17 @@
 <p>
   <strong>Python</strong>（パイソン）は、<a href="http://en.wikipedia.org/wiki/Guido_van_Rossum">Guido van Rossum</a> によって作られたオープンソースのオブジェクト指向スクリプト言語。<a href="http://ja.wikipedia.org/wiki/Perl">Perl</a>とともに欧米で広く普及している。イギリスのテレビ局 BBC が製作したコメディ番組『空飛ぶモンティ・パイソン』にちなんで名付けられた。 (Pythonには、爬虫類のニシキヘビの意味があり、Python言語のマスコットやアイコンとして使われることがある。)</p>
 <p>|||||||||||||||||||||||||||||THIS SHOULD BE LTR|||||||||||||||||||||||||</p>
-<p dir="rtl">|||||||||||||||||||||||||||||THIS SHOULD BE RTL||||||||||||||||||||||||| </p>
-<p dir="ltr">(<strong>بايثون</strong>لغة برمجة حديثة بسيطة، واضحة، سريعة ، تستخدم أسلوب البرمجة الكائنية (THIS SHOULD BE LTR ) وقابلة للتطوير    بالإضافة إلى أنها مجانية و مفتوح</p>
+<p dir="rtl">|||||||||||||||||||||||||||||THIS SHOULD BE RTL|||||||||||||||||||||||||  </p>
+<p dir="ltr">(<strong>بايثون</strong> لغة برمجة حديثة بسيطة، واضحة، سريعة ، تستخدم أسلوب البرمجة الكائنية (THIS SHOULD BE LTR ) وقابلة للتطوير    بالإضافة إلى أنها مجانية و مفتوح </p>
 <p>پایتون زبان برنامه‌نویسی تفسیری و سطح بالا ، شی‌گرا و یک زبان برنامه‌نویسی تفسیری سمت سرور قدرتمند است که توسط گیدو ون روسوم در سال ۱۹۹۰ ساخته شد. این زبان در ویژگی‌ها شبیه پرل، روبی، اسکیم، اسمال‌تاک و تی‌سی‌ال است و از مدیریت خودکار حافظه استفاده می‌کند</p>
 <p>Python，是一种面向对象的、直譯式的计算机程序设计语言，也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。</p>
 <p>ބްލޫ ވޭލްގެ ދޫ މަތީގައި އެއްފަހަރާ 50 މީހުންނަށް ތިބެވިދާނެވެ. ބޮޑު މަހުގެ ދުލަކީ އެހާމެ ބޮޑު އެއްޗެކެވެ.</p>
 <p>
-  <strong>உருது</strong>13ஆம் நூற்றாண்டில் உருவான ஒரு இந்தோ-ஐரோப்பிய மொழியாகும். உருது, ஹிந்தியுடன் சேர்த்து "ஹிந்துஸ்தானி" என அழைக்கப்படுகின்றது. மண்டரின், ஆங்கிலம் ஆகியவற்றுக்கு அடுத்தபடியாக மூன்றாவது கூடிய அளவு மக்களால் புரிந்து கொள்ளப்படக்கூடியது ஹிந்துஸ்தானியேயாகும். தாய் மொழியாகப் பேசுபவர்கள் எண்ணிக்கையின் அடிப்படையில் உருது உலகின் 20 ஆவது பெரிய மொழியாகும். 6 கோடி மக்கள் இதனைத் தாய் மொழியாகக் கொண்டுள்ளார்கள். இரண்டாவது மொழியாகக் கொண்டுள்ளவர்கள் உட்பட 11 கோடிப் பேர் இதனைப் பேசுகிறார்கள். உருது பாகிஸ்தானின் அரசகரும மொழியாகவும், இந்தியாவின் அரசகரும மொழிகளுள் ஒன்றாகவும் விளங்குகிறது.</p>
+  <strong>உருது</strong> 13ஆம் நூற்றாண்டில் உருவான ஒரு இந்தோ-ஐரோப்பிய மொழியாகும். உருது, ஹிந்தியுடன் சேர்த்து "ஹிந்துஸ்தானி" என அழைக்கப்படுகின்றது. மண்டரின், ஆங்கிலம் ஆகியவற்றுக்கு அடுத்தபடியாக மூன்றாவது கூடிய அளவு மக்களால் புரிந்து கொள்ளப்படக்கூடியது ஹிந்துஸ்தானியேயாகும். தாய் மொழியாகப் பேசுபவர்கள் எண்ணிக்கையின் அடிப்படையில் உருது உலகின் 20 ஆவது பெரிய மொழியாகும். 6 கோடி மக்கள் இதனைத் தாய் மொழியாகக் கொண்டுள்ளார்கள். இரண்டாவது மொழியாகக் கொண்டுள்ளவர்கள் உட்பட 11 கோடிப் பேர் இதனைப் பேசுகிறார்கள். உருது பாகிஸ்தானின் அரசகரும மொழியாகவும், இந்தியாவின் அரசகரும மொழிகளுள் ஒன்றாகவும் விளங்குகிறது.</p>
 <p>اردو ہندوآریائی زبانوں کی ہندويورپی شاخ کی ایک زبان ہے جو تيرھويں صدی ميں بر صغير ميں پيدا ہوئی ـ اردو پاکستان کی سرکاری زبان ہے اور بھارت کی سرکاری زبانوں ميں سے ايک ہے۔ اردو بھارت ميں 5 کروڑ اور پاکستان ميں 1 کروڑ لوگوں کی مادری زبان ہے مگر اسے بھارت اور پاکستان کے تقریباً 50 کروڑ لوگ بول اور سمجھ سکتے ھیں ۔ جن میں سے تقریباً 10.5 کروڑ لوگ اسے باقاعدہ بولتے ھیں۔</p>
 <h1>بايثون</h1>
 <p>
-  <strong>بايثون</strong>لغة برمجة حديثة بسيطة، واضحة، سريعة ، تستخدم أسلوب البرمجة الكائنية (OOP) وقابلة للتطوير بالإضافة إلى أنها مجانية و مفتوحة المصدر. صُنفت بالأساس كلغة تفسيرية ، بايثون مصممة أصلاً للأداء بعض المهام الخاصة أو المحدودة. إلا أنه يمكن استخدامها بايثون لإنجاز المشاريع الضخمه كأي لغة برمجية أخرى،  غالباً ما يُنصح المبتدئين في ميدان البرمجة بتعلم هذه اللغة لأنها من بين أسهل اللغات البرمجية تعلماً.</p>
+  <strong>بايثون</strong> لغة برمجة حديثة بسيطة، واضحة، سريعة ، تستخدم أسلوب البرمجة الكائنية (OOP) وقابلة للتطوير بالإضافة إلى أنها مجانية و مفتوحة المصدر. صُنفت بالأساس كلغة تفسيرية ، بايثون مصممة أصلاً للأداء بعض المهام الخاصة أو المحدودة. إلا أنه يمكن استخدامها بايثون لإنجاز المشاريع الضخمه كأي لغة برمجية أخرى،  غالباً ما يُنصح المبتدئين في ميدان البرمجة بتعلم هذه اللغة لأنها من بين أسهل اللغات البرمجية تعلماً.</p>
 <p>|||||||||||||||||||||||||||||THIS SHOULD BE RTL|||||||||||||||||||||||||</p>
 <p>(نشأت بايثون في مركز CWI (مركز العلوم والحاسب الآلي) بأمستردام على يد جويدو فان رُزوم. تم تطويرها بلغة C. أطلق فان رُزوم اسم "بايثون" على لغته تعبيرًا عن إعجابه بفِرقَة مسرحية هزلية شهيرة من بريطانيا، كانت تطلق على نفسها اسم مونتي بايثون Monty Python.</p>
 <p>تتميز بايثون بمجتمعها النشط ، كما أن لها الكثير من المكتبات البرمجية ذات الأغراض الخاصة والتي برمجها أشخاص من مجتمع هذه اللغة ، مثلاً مكتبة PyGame التي توفر مجموعه من الوظائف من اجل برمجة الالعاب. ويمكن لبايثون التعامل مع العديد من أنواع قواعد البيانات مثل MySQL وغيره.</p>
@@ -43,9 +43,9 @@ else:
     <a href="http://www.python.org">الموقع الرسمي للغة بايثون</a>
   </li>
 </ul>
-<p>بذرة حاس</p>
+<p> بذرة حاس </p>
 <p>
-  <strong>Недвард «Нед» Фландерс</strong>(Nedward «Ned» Flanders) — вымышленный персонаж мультсериала «[Симпсоны][]», озвученный Гарри Ширером. Он и его семья живут по соседству от семьи Симпсонов. Набожный христианин, Нед является одним из столпов морали Спрингфилда. В эпизоде «Alone Again, Natura-Diddily»  он овдовел, его жена Мод погибла в результате несчастного случая.</p>
+  <strong>Недвард «Нед» Фландерс</strong> (Nedward «Ned» Flanders) — вымышленный персонаж мультсериала «[Симпсоны][]», озвученный Гарри Ширером. Он и его семья живут по соседству от семьи Симпсонов. Набожный христианин, Нед является одним из столпов морали Спрингфилда. В эпизоде «Alone Again, Natura-Diddily»  он овдовел, его жена Мод погибла в результате несчастного случая. </p>
 <p>Нед был одним из первых персонажей в мультсериале, который не был членом семьи Симпсонов. Начиная с первых серий, он регулярно появляется в «Симпсонах». Считается, что Нед Фландерс был назван в честь улицы <em>Northeast Flanders St.</em> в <a href="http://www.portland.gov">Портленде</a>, Орегон, родном городе создателя мультсериала Мэтта Грейнинга]]. Надпись на указателе улицы <em>NE Flanders St.</em> хулиганы часто исправляли на <em>NED Flanders St.</em>
 </p>
 
diff --git a/tests/misc/blockquote.html b/tests/misc/blockquote.html
index 08289b4..429c6d0 100644
--- a/tests/misc/blockquote.html
+++ b/tests/misc/blockquote.html
@@ -1,24 +1,25 @@
 <blockquote>
-<p>blockquote with no whitespace before <code>&gt;</code>.</p>
+  <p>blockquote with no whitespace before <code>&gt;</code>.</p>
 </blockquote>
 <p>foo</p>
 <blockquote>
-<p>blockquote with one space before the <code>&gt;</code>.</p>
+  <p>blockquote with one space before the <code>&gt;</code>.</p>
 </blockquote>
 <p>bar</p>
 <blockquote>
-<p>blockquote with 2 spaces.</p>
+  <p>blockquote with 2 spaces.</p>
 </blockquote>
 <p>baz</p>
-<p>&gt; this has three spaces so its a paragraph.</p>
+<p>   &gt; this has three spaces so its a paragraph.</p>
 <p>blah</p>
 <pre>
-<code>&gt; this one had four so it's a code block.
+  <code>&gt; this one had four so it's a code block.
 </code>
 </pre>
 <blockquote>
-<blockquote>
-<p>this nested blockquote has 0 on level one and 3 (one after the first <code>&gt;</code>+ 2 more) on level 2.</p>
+  <blockquote>
+    <p>this nested blockquote has 0 on level one and 3 (one after the first <code>&gt;</code> + 2 more) on level 2.</p>
+  </blockquote>
+  <p>   &gt; and this has 4 on level 2 - another code block.</p>
 </blockquote>
-<p>&gt; and this has 4 on level 2 - another code block.</p>
-</blockquote>
\ No newline at end of file
+
diff --git a/tests/misc/funky-list.html b/tests/misc/funky-list.html
index a1aa372..f489d56 100644
--- a/tests/misc/funky-list.html
+++ b/tests/misc/funky-list.html
@@ -1,11 +1,12 @@
 <ol>
-<li>this starts a list <em>with</em>numbers</li>
-<li>this will show as number "2"</li>
-<li>this will show as number "3."</li>
-<li>any number, +, -, or * will keep the list going.</li>
+  <li>this starts a list <em>with</em> numbers</li>
+  <li>this will show as number "2"</li>
+  <li>this will show as number "3."</li>
+  <li>any number, +, -, or * will keep the list going.</li>
 </ol>
 <p>aaaaaaaaaaaaaaa</p>
 <ul>
-<li>now a normal list</li>
-<li>and more</li>
+  <li>now a normal list</li>
+  <li>and more</li>
 </ul>
+
diff --git a/tests/misc/japanese.html b/tests/misc/japanese.html
index 3fda1c1..ae1df5d 100644
--- a/tests/misc/japanese.html
+++ b/tests/misc/japanese.html
@@ -9,5 +9,5 @@
   <li>オブジェクトのメンバに対するアクセスが制限されていない。（属性や専用のメソッドフックを実装することによって制限は可能。）</li>
   <li>モジュール、クラス、オブジェクト等の言語の要素が内部からアクセス可能であり、リフレクションを利用した記述が可能。</li>
 </ul>
-<p>また、Pythonではインデントによりブロックを指定する構文を採用している（⇒<a href="#jklj">オフサイドルール</a>）。この構文はPythonに慣れたユーザからは称賛をもって受け入れられているが、他の言語のユーザからは批判も多い。このほかにも、大きすぎる実行ファイルや、Javaに比べて遅い処理速度などが欠点として指摘されている。しかし <strong>プロトタイピング</strong>の際にはこれらの点はさして問題とはならないことから、研究開発部門では頻繁に利用されている。</p>
+<p>また、Pythonではインデントによりブロックを指定する構文を採用している（⇒<a href="#jklj">オフサイドルール</a>）。この構文はPythonに慣れたユーザからは称賛をもって受け入れられているが、他の言語のユーザからは批判も多い。このほかにも、大きすぎる実行ファイルや、Javaに比べて遅い処理速度などが欠点として指摘されている。しかし <strong>プロトタイピング</strong> の際にはこれらの点はさして問題とはならないことから、研究開発部門では頻繁に利用されている。</p>
 
diff --git a/tests/misc/multi-test.html b/tests/misc/multi-test.html
index fbb37f3..1fc7bdb 100644
--- a/tests/misc/multi-test.html
+++ b/tests/misc/multi-test.html
@@ -3,21 +3,22 @@
 <p>Blah blah blah <a href="http://www.slashdot.org">http://www.slashdot.org</a>
 </p>
 <ul>
-<li>Basic list</li>
-<li>Basic list 2</li>
+  <li>Basic list</li>
+  <li>Basic list 2</li>
 </ul>
 <p>addss</p>
 <ul>
-<li>Lazy list</li>
+  <li>Lazy list</li>
 </ul>
-<p>An <a href="http://example.com" title="Title">example</a>(oops)</p>
+<p>An <a href="http://example.com" title="Title">example</a> (oops)</p>
 <p>Now, let's use a footnote[^1].  Not bad, eh?
 Let's continue.</p>
-<p>[^1]: Here is the text of the footnote
+<p>  [^1]: Here is the text of the footnote
     continued on several lines.
     some more of the footnote, etc.</p>
 <pre>
-<code>Actually, another paragraph too.
+  <code>Actually, another paragraph too.
 </code>
 </pre>
 <p>And then there is a little bit of text.</p>
+
diff --git a/tests/misc/numeric-entity.html b/tests/misc/numeric-entity.html
index 2fa51aa..720a601 100644
--- a/tests/misc/numeric-entity.html
+++ b/tests/misc/numeric-entity.html
@@ -1,4 +1,4 @@
 <p>
 <a href="&#109;&#97;&#105;&#108;&#116;&#111;&#58;&#117;&#115;&#101;&#114;&#64;&#103;&#109;&#97;&#105;&#108;&#46;&#99;&#111;&#109;">&#117;&#115;&#101;&#114;&#64;&#103;&#109;&#97;&#105;&#108;&#46;&#99;&#111;&#109;</a>
 </p>
-<p>This is an entity: &#234;</p>
\ No newline at end of file
+<p>This is an entity: &#234; </p>
diff --git a/tests/misc/php.html b/tests/misc/php.html
index db0333c..66bc8d1 100644
--- a/tests/misc/php.html
+++ b/tests/misc/php.html
@@ -6,4 +6,4 @@
 <!--This is a comment --></p>
 <p><div>This shouldn't</div></p>
 <p><?php echo "block_level";?></p>
-<p>&lt;?php echo "not_block_level";?&gt;</p>
\ No newline at end of file
+<p> &lt;?php echo "not_block_level";?&gt;</p>
diff --git a/tests/misc/russian.html b/tests/misc/russian.html
index fef2ebc..06efb99 100644
--- a/tests/misc/russian.html
+++ b/tests/misc/russian.html
@@ -1,8 +1,9 @@
 <h1>Недвард «Нед» Фландерс</h1>
 <p>
-<strong>Недвард «Нед» Фландерс</strong>(Nedward «Ned» Flanders) — вымышленный персонаж мультсериала «[Симпсоны][]», озвученный Гарри Ширером. Он и его семья живут по соседству от семьи Симпсонов. Набожный христианин, Нед является одним из столпов морали Спрингфилда. В эпизоде «Alone Again, Natura-Diddily»  он овдовел, его жена Мод погибла в результате несчастного случая.</p>
+  <strong>Недвард «Нед» Фландерс</strong> (Nedward «Ned» Flanders) — вымышленный персонаж мультсериала «[Симпсоны][]», озвученный Гарри Ширером. Он и его семья живут по соседству от семьи Симпсонов. Набожный христианин, Нед является одним из столпов морали Спрингфилда. В эпизоде «Alone Again, Natura-Diddily»  он овдовел, его жена Мод погибла в результате несчастного случая. </p>
 <p>Нед был одним из первых персонажей в мультсериале, который не был членом семьи Симпсонов. Начиная с первых серий, он регулярно появляется в «Симпсонах». Считается, что Нед Фландерс был назван в честь улицы <em>Northeast Flanders St.</em> в <a href="http://www.portland.gov">Портленде</a>, Орегон, родном городе создателя мультсериала Мэтта Грейнинга]]. Надпись на указателе улицы <em>NE Flanders St.</em> хулиганы часто исправляли на <em>NED Flanders St.</em>
 </p>
 <h2>Биография</h2>
 <p>Нед Фландерс родился в Нью-Йорке, его родители были битниками. Его отец в точности похож на взрослого Неда, только он носил козлиную бородку. Их отказ от воспитания Неда и то, что они, в общем-то, были плохими родителями («мы ничего в этом не понимаем и не знаем как начать») привело к тому, что Нед превратился в ужасного сорванца. В конце концов они согласились на экспериментальную восьмимесячную шлепологическую терапию Миннесотского Университета (воспоминания Неда в эпизоде «Hurricane Neddy»), которая научила его подавлять чувство злости. Побочным эфектом терапии стало то, что Нед стал ненавидеть своих родителей (это одна из двух вещей которые ненавидит Фландерс, вторая — отделения почты, чьи длинные очереди, суета и угрюмый персонал раздражают его).</p>
 <p>У Неда есть странная привычка добавлять «дидли», «дадли» и другие бессмысленные слова в свои фразы при разговоре, например: «Hi-diddly-ho, neighbor-ino» («Приветик, соседушка»). Это результат сублимации его злости, вызванной сдерживанием гнева, который не имеет никакого другого выхода.</p>
+
diff --git a/tests/misc/underscores.html b/tests/misc/underscores.html
index 43b488f..fa9e642 100644
--- a/tests/misc/underscores.html
+++ b/tests/misc/underscores.html
@@ -1,8 +1,9 @@
 <p>THIS_SHOULD_STAY_AS_IS</p>
 <p>Here is some <em>emphasis</em>, ok?</p>
-<p>Ok, at least <em>this</em>should work.</p>
+<p>Ok, at least <em>this</em> should work.</p>
 <p>THIS<strong>SHOULD</strong>STAY</p>
-<p>Here is some <strong>strong</strong>stuff.</p>
+<p>Here is some <strong>strong</strong> stuff.</p>
 <p>THIS<strong>
-<em>SHOULD</em>
-</strong>STAY?</p>
\ No newline at end of file
+    <em>SHOULD</em>
+  </strong>STAY?</p>
+