İçereği Atla
Odoo Menü
  • Portal
  • Ücretsiz deneyin
  • Uygulamalar
    Finans
    • Muhasebe
    • Faturalama
    • Masraf Yönetimi
    • Elektronik Çizelge (BI)
    • Belgeler
    • İmza
    Satış
    • Müşteri İlişkileri Yönetimi (CRM)
    • Satış
    • Satış Noktası Mağaza
    • Satış Noktası Restoran
    • Abonelikler
    • Kiralama
    Web Sitesi
    • Web Sitesi Oluşturucu
    • eTicaret
    • Blog
    • Forum
    • Canlı Sohbet
    • eÖğrenme
    Tedarik Zinciri
    • Envanter
    • Üretim
    • Ürün Yaşam Döngüsü Yönetimi
    • Satın Alma
    • Bakım
    • Kalite
    İnsan Kaynakları
    • Çalışanlar
    • İşe Alım
    • İzin
    • Değerlendirme
    • Referans
    • Filo Yönetimi
    Pazarlama
    • Sosyal Medyada Pazarlama
    • E-posta ile Pazarlama
    • SMS ile Pazarlama
    • Etkinlikler
    • Pazarlama Otomasyonu
    • Anket
    Hizmetler
    • Proje Yönetimi
    • Çalışma Çizelgeleri
    • Saha Hizmeti
    • Yardım Masası
    • Planlama
    • Randevular
    Verimlilik
    • Sohbet
    • Onay
    • Nesnelerin İnterneti
    • VoIP
    • Bilgi Bankası
    • WhatsApp
    Üçüncü taraf uygulamalar Odoo Stüdyo Odoo Bulut Platformu
  • Sektörler
    Perakende satış
    • Kitapçı
    • Giyim Mağazası
    • Mobilya Mağazası
    • Gıda Marketi
    • Hırdavat Dükkanı
    • Oyuncak Dükkanı
    Gıda ve Konaklama
    • Bar ve Pub
    • Restoran
    • Fast Food Restoranı
    • Konuk Evi
    • İçecek Distribütörü
    • Otel
    Gayrimenkul
    • Emlak Acentesi
    • Mimarlık Firması
    • İnşaat
    • Emlak Yönetimi
    • Bahçe Tasarımı
    • Mülk Sahipleri Derneği
    Uzmanlık
    • Muhasebe Firması
    • Odoo Partner
    • Pazarlama Ajansı
    • Hukuk Firması
    • Yetenek Kazanımı
    • Denetim ve Belgelendirme
    Üretim
    • Tekstil
    • Metal
    • Mobilyalar
    • Gıda
    • Bira fabrikası
    • Kurumsal Hediye
    Sağlık ve Spor
    • Spor Kulübü
    • Optik Mağazası
    • Fitness Merkezi
    • Sağlıklı Yaşam Merkezi
    • Eczane
    • Kuaför Salonu
    Ticaret
    • Tamirci
    • BT Donanım & Destek
    • Güneş Enerjisi Sistemleri
    • Ayakkabı İmalatçısı
    • Temizlik Hizmetleri
    • HVAC Hizmetleri
    Diğerleri
    • Kar Amacı Gütmeyen Kuruluş
    • Çevre Ajansı
    • Reklam Panosu Kiralama
    • Fotoğrafçılık
    • Bisiklet Kiralama
    • Yazılım Bayisi
    Tüm Sektörlere Göz Atın
  • Topluluk
    Öğrenim
    • Eğitim Araçları
    • Dokümantasyon
    • Sertifikasyonlar
    • Eğitim Etkinlikleri
    • Blog
    • Podcast
    Eğitim ve Gelişim
    • Eğitim Programı
    • Scale Up! İşletme Oyunu
    • Odoo'yu Ziyaret Edin
    Yazılım
    • İndirin
    • Sürümleri Kıyaslayın
    • Sürümler
    İş Birliği
    • Github
    • Forum
    • Etkinlikler
    • Çeviriler
    • Partner Olun
    • Partnerler için Hizmetler
    • Muhasebe Firmanızı Kaydettirin
    Hizmetler
    • Partner Bulun
    • Muhasebeci Bulun
    • Bir danışmanla görüşün
    • Kurulum Hizmetleri
    • Müşteri Referansları
    • Destek
    • Sürüm Yükseltme
    Github Youtube Twitter Linkedin Instagram Facebook Spotify
    +1 (650) 691-3277
    Demo randevusu alın
  • Fiyatlandırma
  • Yardım

Odoo is the world's easiest all-in-one management software.
It includes hundreds of business apps:

  • Müşteri İlişkileri Yönetimi
  • e-Commerce
  • Muhasebe
  • Envanter
  • PoS
  • Proje Yönetimi
  • MRP
All apps
You need to be registered to interact with the community.
All Posts People Badges
Etiketler (View all)
odoo accounting v14 pos v15
About this forum
You need to be registered to interact with the community.
All Posts People Badges
Etiketler (View all)
odoo accounting v14 pos v15
About this forum
Yardım

high volume of data failed to generate report

Abone Ol

Get notified when there's activity on this post

Bu soru işaretlendi
postgresvolumehightuning
4 Cevaplar
9156 Görünümler
Avatar
Akhmad Daniel Sembiring

hi All,

Currently we have around 350,000 lines of account_move_line and 60,000 lines of account_move, and it;s increasing shortly. Those records belongs to a single partner.

my OpenERP system was failed just to generate "General Ledger" and "Partner Ledger" report from all those records. the browser is just displaying loading message with no end. All other simple reports with only few pages of PDF are fine.

my server has 6GB of RAM, 12 cores CPU, running CentOS 6 linux.

i have done openerp, postgresql and linux kernel tuning as follows:

Linux:

kernel.shmmax = 68719476739
kernel.shmall = 16777216
kernel.shmmni = 4096

Postgres:

shared_buffers = 4GB  
temp_buffers = 500MB
default_statistics_target = 100
maintenance_work_mem = 480MB
checkpoint_completion_target = 0.9
effective_cache_size = 6GB
work_mem = 50MB
wal_buffers = 16MB
checkpoint_segments = 64

OpenERP:

workers = 25
limit_request = 100000
osv_memory_age_limit = 1.0
limit_time_real = 240
limit_time_cpu = 600
limit_memory_hard = 6442450944
limit_memory_soft = 3221225472

but still no luck generating those reports. any help or clue will be very appreciated

thanks

1
Avatar
Vazgeç
Avatar
Jagadish
En İyi Yanıt

Developer can try to get big data like more than 160000 lines in xlsx report 
Using controllers Get data (To get Data Use Query) and prepare or arrange the data using 

call controllers from python or JS 

import io
import xlsxwriter


 finally close the workbook and 
change the arranged data has like bytes 

output = io.BytesIO() 
workbook = xlsxwriter.Workbook(output, {'in_memory': True})
worksheet = workbook.add_worksheet()

workbook.close()
output.seek(0)
return output.getvalue()

and In controllers return make_response as


@http.route('/big_data_xlsx_report', type='http', auth='user', methods=['POST'], csrf=False) 
def get_report_xlsx(self, model, output_format, report_data, report_name, **kw):
uid = request.session.uid
report_obj = request.env[model].with_user(uid)
load_data = json.loads(report_data)
try:
if output_format == 'xlsx':
cell_data = report_obj.get_report_data(load_data)
report_bytes = report_obj.prepare_report(call_data)
response = request.make_response(
report_bytes,
headers=[
('Content-Type', 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'),
('Content-Disposition', content_disposition(report_name + '.xlsx'))
]
)
response.set_cookie('fileToken', 'dummy-because-api-expects-one')
return response
except Exception as e:
se = _serialize_exception(e)
error = {
'code': 200,
'message': 'Odoo Server Error',
'data': se
}
return request.make_response(html_escape(json.dumps(error)))

with fraction of seconds user can get big data in report





0
Avatar
Vazgeç
Avatar
sraps
En İyi Yanıt

For high volume reporting tasks you should use Aeroo Reports and it's support for deferred tasks. Original reports are usable only with low volume data. Even if normally report would time out, if report is run as a deferred process, it would create background task. Once completed it would store the report along the task.

More over the deferred processing module + Aeroo Reports would work transparently, you can set a threshold for each report, to initiate deferred task, if not exceeded it would run Aeroo report as usual - without creating deferred task.

You can integrate other long running processes to be used as deferred tasks, like mass recalculations etc.

Ok there is one "problem" - you need to redevelop "original" reports into Aeroo.

BR Kaspar

0
Avatar
Vazgeç
Akhmad Daniel Sembiring
Üretici

hi Kaspar, currently i used webkit report, do you think it's the same as RML report in performance?

Avatar
Rohit Thakral
En İyi Yanıt

Hi Akhmad,

We upgraded our server and created a swap space of 8GB which allowed us to run a 700+ page long General Ledger Report.

The suggestion of Aeroo reports is good and we were thinking of converting the GL report to HTML (and not PDF). It seems it is convert to PDF which was causing problems and not fetching the data.

HTH Rohit

0
Avatar
Vazgeç
Akhmad Daniel Sembiring
Üretici

Hi Rohit did you mean creating swap space of 8GB on the OS/Linux? what is the size of PDF generated in your case?

Thanks

Avatar
Akhmad Daniel Sembiring
Üretici En İyi Yanıt

Hi Rohit did you mean creating swap space of 8GB on the OS/Linux? what is the size of PDF generated in your case?

Thanks

0
Avatar
Vazgeç
Enjoying the discussion? Don't just read, join in!

Create an account today to enjoy exclusive features and engage with our awesome community!

Üye Ol
İlgili Gönderiler Cevaplar Görünümler Aktivite
high volume of data failed to generate report
postgres volume high tuning
Avatar
Avatar
1
Şub 16
7249
Problems with Docker volumes Çözüldü
postgres volume Docker
Avatar
Avatar
1
Ara 21
9314
In debian package v8, can't set database name
postgres
Avatar
Avatar
Avatar
3
Şub 24
6673
Killing idle postgres processes Çözüldü
postgres
Avatar
Avatar
8
Şub 21
16432
Odoo 11 is slow to backup because of multiple postgres processes
postgres
Avatar
0
Şub 21
2677
Topluluk
  • Eğitim Araçları
  • Dokümantasyon
  • Forum
Açık Kaynak
  • İndirin
  • Github
  • Runbot
  • Çeviriler
Hizmetler
  • Odoo.sh Hosting
  • Destek
  • Sürüm Yükseltme
  • Özel Geliştirmeler
  • Eğitim
  • Muhasebeci Bulun
  • Partner Bulun
  • Partner Olun
Hakkında
  • Şirketimiz
  • Pazarlama Gereçleri
  • İletişim
  • Kariyer
  • Etkinlikler
  • Podcast
  • Blog
  • Müşteriler
  • Hukuki • Gizlilik
  • Güvenlik
الْعَرَبيّة Català 简体中文 繁體中文 (台灣) Čeština Dansk Nederlands English Suomi Français Deutsch हिंदी Bahasa Indonesia Italiano 日本語 한국어 (KR) Lietuvių kalba Język polski Português (BR) română русский язык Slovenský jazyk slovenščina Español (América Latina) Español ภาษาไทย Türkçe українська Tiếng Việt

Odoo, müşteri ilişkileri yönetimi, eTicaret, muhasebe, envanter, satış noktası, proje yönetimi gibi şirketinizin tüm ihtiyaçlarını karşılayan bir açık kaynak işletme uygulamaları paketidir.

Odoo’nun eşsiz değer önermesi, aynı anda hem kullanımının çok kolay olup hem de tamamen entegre olmasıdır.

Website made with

Odoo Experience on YouTube

1. Use the live chat to ask your questions.
2. The operator answers within a few minutes.

Live support on Youtube
Watch now