phuoc/html_cleanup
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

replace chardet by charset_normalizer

Browse Source
This commit is contained in:
Phuoc
2024-11-18 15:12:08 +01:00
parent b47482f185
commit 76f840b48c
3 changed files with 3 additions and 713 deletions
Download Patch File Download Diff File Expand all files Collapse all files

705
html_cleanup/static/temp/Gia-TuDO-AiVan-edit_clean (1).html
View File

@@ -1,705 +0,0 @@
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>untitled</title>
</head>
<body>
Cái giá của Tự Do .
<p align="justify">
<p align="justify">
<p align="justify">
<p align="justify">Tâm sự sau ngày
bầu cử 5/11/2024.
<p align="justify">
<p align="justify">
<p align="justify">
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<p align="justify">Vào tuần trước,
gia đình và bạn bè đã tổ chức mừng sinh nhật tuổi
70 cho tôi. Wow, cái tuổi «&nbsp;thất thập cổ lai hy&nbsp;»
nghe mãi, hoá ra cuối cùng thì nó cũng đến và kể từ
bây giờ, tôi đã chính thức đứng vào hàng của những
cụ già “ xưa nay hiếm “!
<p align="justify">Tính tới tháng
1/2025 thì tôi đã sống đúng nửa đời người ở Đức
và Hoa Kỳ -- những xứ sở tự do mà đã một thời những
người trong nước đã từng nói về nó trong niềm khát
khao rằng: nếu đi được thì cái cột đèn nó cũng đi
!!!
<p align="justify">
<p align="justify">Nhớ lại cuộc
sống vào cái thời tem phiếu mà người ta đã từng mô
tả bằng nhại Kiều rằng :
<p align="justify">«&nbsp;Bắt phanh
trần phải phanh trần
<p align="justify">Cho may-ô mới
được phần may-ô&nbsp;» ( may-ô: áo lót nam giới)
<p align="justify">
<p align="justify">Cái gì cũng tem
phiếu, cái gì cũng phân phối. Thỉnh thoảng cơ quan nhà
nước thông báo có hàng phân phối, cán bộ công nhân
viên phải đề đạt nguyện vọng xem mình cần mua gì rồi
lên công đoàn để xin mua.
<p align="justify">Mỗi lần hàng
phân phối về, cả cơ quan rộn ràng như trẩy hội ngày
xuân, vui như Tết. Tất nhiên không có chuyện « muốn gì
được nấy », tất cả đều phải bốc thăm . Vì khan
hiếm nên mỗi lần chỉ có một số người may mắn. May
mắn được mua hàng là một chuyện, nhưng mua được hàng
gì lại là một chuyện khác. Đã xẩy ra chuyện «&nbsp;râu
ông nọ cắm cằm bà kia&nbsp;»
<p align="justify">Ông A thay vì cái
xích xe thì được mua yên xe đạp mà ông không cần.
<p align="justify">Bà B xin mua cái
quạt máy thì được cái chậu nhôm sản xuất tại Liên
xô tuy không đúng nguyện vọng nhưng vẫn mừng húm.
<p align="justify">Chị C &nbsp;cần
cái ruột xe lắp vào vào bánh xe đạp để chạy đi làm
thì than : tôi độc thân sao lại cho tôi mua quần đùi đàn
ông thế này?
<p align="justify">Toàn những chuyện
dở khóc dở cười. Thế nên người ta nói với nhau rằng
«&nbsp;ông «&nbsp;Nhà nước&nbsp;» cái c.ứt gì cũng phân
, mà phân thì như c.ứt&nbsp;». &nbsp; ( “phân” có nghĩa
là phân phối)…
<p align="justify">
<p align="justify">&nbsp;Má tôi trong
lần đi trình diễn tại Pháp năm 1969 đã mua được cái
radio hiệu Phillip, mang về, ba tôi phải mang lên công an
phường cho họ «&nbsp;cặp chì&nbsp;» ( mà tôi không hiểu
là gì?) để chỉ được nghe Đài phát thanh Tiếng nói
Việt Nam và Đài Phát thanh Giải phóng. Mỗi lần muốn
nghe tình hình thế giới, ba tôi phải dò tìm làn sóng rất
lâu mới nghe tiếng được tiếng mất vì sóng yếu giọng
ông Đỗ Văn BBC hay Lê Văn đài VOA. Không nhịn được
cười khi nhìn thấy ba tôi với vẻ mặt nghiêm trọng,
&nbsp;radio phải dí sát vào tai sợ hàng xóm nghe thấy vì
trước cửa dán câu khẩu hiệu CA phường mới phát cho:
<p align="justify">«&nbsp;Gia đình
tôi cương quyết không nghe đài địch&nbsp;» he he …
<p align="justify">
<p align="justify">&nbsp; &nbsp; Những
chuyện tiếu lâm có chút màu sắc chính trị là cấm tiệt
(tất nhiên vẫn lén kể và cười với nhau). Hồi đó tôi
rất thích nghe và kể chuyện tiếu lâm, kể cả tiếu lâm
chính trị. Một lần, lỡ kể chuyện TT Hoa Kỳ tặng sâm,
nhung và các loại thuốc bổ cho ông Lê Duẩn, tôi bị
công an văn hoá (PA 25) mời lên phường kiểm điểm một
ngày và phải hứa không tái phạm mới được cho về !
<p align="justify">
<p align="justify">Những năm 80, bãi
bỏ chế độ tem phiếu, cuộc sống vật chất có khá hơn
một chút nhưng ăn nói vẫn phải giữ mồm giữ miệng
nếu không muốn CA mời lên phường xơi nước. Mỗi lần
đi trình diễn ở ngoại quốc, ngoài chuyện «&nbsp;hát
hay, đàn giỏi, múa khéo&nbsp;» thì mục «&nbsp;khai báo lý
lịch trích ngang&nbsp;» cho CA mới phiền, phải moi óc ra
xem 3 đời có người thân ở nước ngoài không ? Họ ở
nước nào, bao lâu, có hay liên lạc không …vv và vv… “
Ông CA mà lắc đầu thì có tài giỏi mấy cũng quên
chuyện nước ngoài nước trong đi nhé !
<p align="justify">
<p align="justify">Mấy chục năm ở
VN, việc “ đi nhẹ, nói khẽ” do vậy cũng quen rồi !
<p align="justify">
<p align="justify">Qua xứ tự do thì
khác hẳn: muốn nói gì thì nói, muốn làm gì thì làm
miễn không xâm hại đến người khác thì không sao!
<p align="justify">Định cư tại
Hoa Kỳ tròn 30 năm, tôi đã chứng kiến những cuộc tranh
luận nảy lửa, những cuộc biểu tình rầm rộ, ròng rã
mà cảnh sát chỉ đứng yên giữ trật tự, chỉ can thiệp
khi có xô xát hoặc phá hoại tài sản.
<p align="justify">Tôi đã chứng
kiến cuộc xuống đường rộng lớn BLM năm 2020.
<p align="justify">Tôi đã chứng
kiến những người phụ nữ xuống đường đòi quyền tự
quyết cho chính thân thể mình bằng biểu tượng những
chiếc mũ màu hồng.
<p align="justify">Tôi đã chứng
kiến những cuộc diễu hành của cộng đồng LGBTQ náo
nhiệt và phấn khích.
<p align="justify">
<p align="justify">Và nhiều cuộc
xuống đường khác mà tôi không nhớ hết…
<p align="justify">Đó là cách thể
hiện chính kiến của mỗi người dân khi được sống
trong một thể chế tự do, một xã hội tôn trọng quyền
cá nhân của con người. Và tôi hiểu rằng mình đã may
mắn đến thế nào .
<p align="justify">
<p align="justify">Tôi hiểu thế
nào là Tự Do và trân trọng nó vô cùng !
<p align="justify">
<p align="justify">Tôi đã chứng
kiến đoàn người điên cuồng đập phá xông vào điện
Capitol trong ngày 6/1/2021 để phản đối kết quả một
cuộc bầu cử công bằng và minh bạch.
<p align="justify">Trong cuộc bầu
cử TT năm 2020, do cái loa được phát ra từ một cái
miệng duy nhất , người ta đã phẫn nộ đến mất lý
trí khi tin rằng cuộc bầu cử là gian lận mặc dù 62
phiên toà đều đã bác bỏ điều vô cớ này, trong đó
có nhiều vị thẩm phán do chính ông ta bổ nhiệm. Nếu
quả thật có điều đó xảy ra thì ông ta là một TT bất
tài vì đã không làm gì để ngăn chặn nó khi &nbsp;đang
còn đương nhiệm !
<p align="justify">
<p align="justify">Tôi đã nghe một
số người Việt ủng hộ ông ta chửi chính quyền
Biden-Harris là cộng sản, là dân chủ thổ tả và hô vang
khẩu hiệu “ Thà chết vì Covid hơn là sống với Biden”.
&nbsp;Tuy thù như vậy nhưng tôi ngạc nhiên là suốt gần
4 năm dưới chính quyền TT Biden tôi không thấy ai đóng
thuyền vượt biển như ngày xưa để quay trở ngược về
VN vì không muốn đội trời chung với cái “Chính quyền
xã hội chủ nghĩa thổ tả” ấy mà ngược lại, miệng
thì chửi nhưng vẫn ngửa tay nhận các phúc lợi hào
phóng từ hầu hết các đời TT Dân chủ như : Medicare,
Medicaid, Housing, Obamacare , nhiều người còn được xe đưa
đón miễn phí đi bác sĩ hoặc nhận bữa ăn mang đến
tận nhà…
<p align="justify">
<p align="justify">Tôi kinh hoàng khi
thấy mấy ông MAGA VN làm hình nộm TT Joe Biden bằng bìa
rồi dùng sợi dây kéo qua kéo lại cổ của ông với vẻ
hả hê khoái trá một cách man rợ trong tiếng reo hò phấn
khích của đám đông vây xung quanh khiến cho tôi liên
tưởng đến những cuộc hành hình của chính quyền
Taliban, chửi TT Obama là “khỉ đột”, là “ mọi
đen”…😢mà chẳng ai bắt họ cả! Đành rằng tự do,
nhưng quả tình tôi không hiểu thay vì cảm ơn những
nguời đã trao bao phúc lợi quí giá &nbsp;, tại sao người
ta có thể tự cho mình cái quyền tự do hành xử thấp
hèn, ghê tởm khiến tôi liên tưởng đến những cuộc
đấu tố thời Cải cách ruộng đất khi xưa 😢!
<p align="justify">
<p align="justify">Mấy chục năm
sống trong một xã hội văn minh, tôn trọng quyền con
người, chúng ta coi Tự do là điều đương nhiên và miễn
phí, chúng ta sử dụng nó một cách hoang phí và vô tư mà
quên mất rằng bao thế hệ đi trước đã phải đấu
tranh như thế nào để chúng ta có cơ hội tận hưởng nó
ngày hôm nay!
<p align="justify">
<p align="justify">Chỉ còn hơn 2
tháng nữa, chúng ta sẽ giã từ «&nbsp;chính quyền Cộng
sản Biden-Harris&nbsp;» để bước vào Thiên đường của
thánh Đô-La-Chôm của Thế giới MAGA trong đó có nhiều
MAGA Việt!&nbsp;
<p align="justify">
<p align="justify">Dưới sự lãnh
đạo của ngài, Những phúc lợi cơ bản chúng ta được
hưởng xưa nay có thể bị cắt giảm như Medicare, Social
Security và những khoản chưa biết rõ.
<p align="justify">
<p align="justify">Obamacare có nguy
cơ bị bãi bỏ trong khi chưa có chương trình bảo hiểm
nào thay thế, nhưng dứt khoát nó phải bị bãi bỏ mặc
dù nó đã giúp cho gần 50 triệu người Mỹ mua được
bảo hiểm giá phải chăng chỉ vì nó mang dấu ấn của
Obama -- một vị Tổng thống da màu !
<p align="justify">
<p align="justify">Người đi làm có
thể chỉ được nghỉ hưu khi đủ 75 tuổi…Tất cả để
bù đắp vào thâm thủng ngân sách do chính sách cắt Thuế
cho giới tài phiệt của ngài Tổng mới.
<p align="justify">
<p align="justify">Cuộc sống của
người cao niên, yếu đuối, tàn tật mà nhiều Việt MAGA
đang hưởng thụ sẽ bị ảnh hưởng nặng nề. Chúng ta
có thể tìm hiểu về nó trong Project 2025.
<p align="justify">
<p align="justify">Tức nước vỡ
bờ. Đau quá thì có khi lại phải xuống đường lên
tiếng cũng nên !
<p align="justify">
<p align="justify">Nhưng coi chừng,
“ ổng xua lính” trấn áp, bắn vào chân đó, vì ổng
đã hăm rồi !( điều này đã được ông tướng 4 sao
Mark Kelly của ông kể trong sách, ai chưa đọc thì nhờ
con cháu nó Gú Gồ cho !)
<p align="justify">
<p align="justify">Nếu đã quên
hoặc không muốn nhớ CS thật sự như thế nào thì xin
quí vị mua vé về VN, đứng giữa đường giương cao biểu
ngữ «&nbsp;đả đảo CS&nbsp;» hoặc réo tên mấy ông lớn
đang ngồi ở Ba Đình mà chửi, mà cứa cổ hình nộm mấy
ổng như các vị đã từng ngang nhiên ra đường réo
«&nbsp;thằng Bảy Đần&nbsp;»,&nbsp;&nbsp;«&nbsp;Let go
Brandon !&nbsp;» , quý vị sẽ bị còng tay nhốt vào kho đếm
lịch ngay . Trần Huỳnh Duy Thức, Phạm Đoan Trang, Điếu
Cày Nguyễn Văn Hải … chỉ vì bày tỏ chính kiến ôn
hoà đã phải lãnh những bản án nặng nề nhiều năm !
<p align="justify">Làm được như
vậy tôi mới phục và tin rằng các vị hiểu rõ và phân
biệt được thế nào là Tự Do và thế nào là Cộng Sản.
<p align="justify">
<p align="justify">Trong 4 năm tới ,
chúng ta sẽ được tận mắt chứng kiến, tự mình trải
nghiệm để so sánh sự khác biệt hoàn toàn giữa chính
quyền Trump với tất cả những chính quyền tiền nhiệm
kể cả cộng hòa và dân chủ.
<p align="justify">Thời gian gần
đây người ta đưa ra một triết lý trần trụi : Cái gì
không mua được bằng tiền thì sẽ mua được bằng rất
nhiều tiền! Tuy không áp dụng được với tất cả mọi
người , ít ra tôi cũng thấy nó thành công một số
trường hợp, cụ thể trước mắt là anh chủ Tesla ve vãn
được ông Tổng tương lai!
<p align="justify">
<p align="justify">Nhưng Tự Do thì
khác!
<p align="justify">
<p align="justify">Tự Do không nhìn
thấy bằng mắt, không cầm được trong tay, nhưng nó hiển
hiện trong từng lời nói, trong mỗi nhịp thở, mỗi bước
đi, mỗi ánh mắt nhìn… Nó vô hình nhưng lại hiện hữu
rất cụ thể, thiết tha, thấm thía, mà chỉ những khi
sắp mất nó ta mới thật sự cảm nhận sự tuyệt vời
của hai chữ Tự Do!
<p align="justify">
<p align="justify">Tự Do không thể
mua được bằng tiền.
<p align="justify">
<p align="justify">Tự Do là vô giá
mà chúng ta chỉ có được nó khi phải trả bằng máu và
nước mắt của rất, rất nhiều người trong nhiều thế
hệ mà biết đâu trong những năm tháng tới đây, chúng
ta sẽ hiểu được giá trị của nó bằng trải nghiệm
đau thương của chính bản thân mình ?
<p align="justify">
<p align="justify">Liệu lúc đó có
quá muộn chăng ?
<p align="justify">
<p align="justify">May ra lúc đó
chúng ta mới biết được giá trị của hai chữ Tự Do !&nbsp;
<p align="justify">

9
html_cleanup/views/default.py
View File

@@ -6,7 +6,7 @@ import magic
import sys import sys
import datetime import datetime
import time import time
import chardet import charset_normalizer
import html import html
@view_config(route_name='home', renderer='html_cleanup:templates/home.jinja2') @view_config(route_name='home', renderer='html_cleanup:templates/home.jinja2')
@@ -82,13 +82,8 @@ def process_file(request, input_file, input_name):
# detect text coding and transform to utf-8 if needed # detect text coding and transform to utf-8 if needed
with open(input_filename, 'rb') as f: with open(input_filename, 'rb') as f:
raw_bytes = f.read() raw_bytes = f.read()
detected = chardet.detect(raw_bytes) detected = charset_normalizer.detect(raw_bytes)
input_encoding = detected['encoding'].lower() input_encoding = detected['encoding'].lower()
if input_encoding == 'windows-1254':
# --- check if input_file contains emoicons encoded as 'windows-1254'
message = "Le fichier contient des caractères non valides ('windows-1254') ou des émoticônes. Téléchargement refusé."
add_error2log(logfile_name, input_name, message)
return message, input_encoding, output_name
if input_encoding != 'utf-8': if input_encoding != 'utf-8':
with open(input_filename, 'r', encoding=input_encoding) as f: with open(input_filename, 'r', encoding=input_encoding) as f:
input_buffer = f.read() input_buffer = f.read()

2
setup.py
View File

@@ -15,7 +15,7 @@ requires = [
'pyramid_debugtoolbar', 'pyramid_debugtoolbar',
'python-magic', 'python-magic',
'html', 'html',
'charset_normalizer',
'waitress', 'waitress',
] ]