Skip to Content
Odoo Menu
  • Zaloguj się
  • Wypróbuj za darmo
  • Aplikacje
    Finanse
    • Księgowość
    • Fakturowanie
    • Wydatki
    • Arkusz kalkulacyjny (BI)
    • Dokumenty
    • Podpisy
    Sprzedaż
    • CRM
    • Sprzedaż
    • PoS Sklep
    • PoS Restauracja
    • Subskrypcje
    • Wypożyczalnia
    Strony Internetowe
    • Kreator Stron Internetowych
    • eCommerce
    • Blog
    • Forum
    • Czat na Żywo
    • eLearning
    Łańcuch dostaw
    • Magazyn
    • Produkcja
    • PLM
    • Zakupy
    • Konserwacja
    • Jakość
    Zasoby Ludzkie
    • Pracownicy
    • Rekrutacja
    • Urlopy
    • Ocena pracy
    • Polecenia Pracownicze
    • Flota
    Marketing
    • Marketing Społecznościowy
    • E-mail Marketing
    • SMS Marketing
    • Wydarzenia
    • Automatyzacja Marketingu
    • Ankiety
    Usługi
    • Projekt
    • Ewidencja czasu pracy
    • Usługi Terenowe
    • Helpdesk
    • Planowanie
    • Spotkania
    Produktywność
    • Dyskusje
    • Zatwierdzenia
    • IoT
    • VoIP
    • Baza wiedzy
    • WhatsApp
    Aplikacje trzecich stron Studio Odoo Odoo Cloud Platform
  • Branże
    Sprzedaż detaliczna
    • Księgarnia
    • Sklep odzieżowy
    • Sklep meblowy
    • Sklep spożywczy
    • Sklep z narzędziami
    • Sklep z zabawkami
    Żywienie i hotelarstwo
    • Bar i Pub
    • Restauracja
    • Fast Food
    • Pensjonat
    • Dystrybutor napojów
    • Hotel
    Agencja nieruchomości
    • Agencja nieruchomości
    • Biuro architektoniczne
    • Budowa
    • Zarządzanie nieruchomościami
    • Ogrodnictwo
    • Stowarzyszenie właścicieli nieruchomości
    Doradztwo
    • Biuro księgowe
    • Partner Odoo
    • Agencja marketingowa
    • Kancelaria prawna
    • Agencja rekrutacyjna
    • Audyt i certyfikacja
    Produkcja
    • Tekstylia
    • Metal
    • Meble
    • Jedzenie
    • Browar
    • Prezenty firmowe
    Zdrowie & Fitness
    • Klub sportowy
    • Salon optyczny
    • Centrum fitness
    • Praktycy Wellness
    • Apteka
    • Salon fryzjerski
    Transakcje
    • Złota rączka
    • Wsparcie Sprzętu IT
    • Systemy energii słonecznej
    • Szewc
    • Firma sprzątająca
    • Usługi HVAC
    Inne
    • Organizacja non-profit
    • Agencja Środowiskowa
    • Wynajem billboardów
    • Fotografia
    • Leasing rowerów
    • Sprzedawca oprogramowania
    Przeglądaj wszystkie branże
  • Community
    Ucz się
    • Samouczki
    • Dokumentacja
    • Certyfikacje
    • Szkolenie
    • Blog
    • Podcast
    Pomóż w nauce innym
    • Program Edukacyjny
    • Scale Up! Gra biznesowa
    • Odwiedź Odoo
    Skorzystaj z oprogramowania
    • Pobierz
    • Porównaj edycje
    • Wydania
    Współpracuj
    • Github
    • Forum
    • Wydarzenia
    • Tłumaczenia
    • Zostań partnerem
    • Usługi dla partnerów
    • Zarejestruj swoją firmę rachunkową
    Skorzystaj z usług
    • Znajdź partnera
    • Znajdź księgowego
    • Spotkaj się z doradcą
    • Usługi wdrożenia
    • Opinie klientów
    • Wsparcie
    • Aktualizacje
    Github Youtube Twitter Linkedin Instagram Facebook Spotify
    +1 (650) 691-3277
    Zaplanuj demo
  • Cennik
  • Pomoc

Odoo is the world's easiest all-in-one management software.
It includes hundreds of business apps:

  • CRM
  • e-Commerce
  • Księgowość
  • Zapasy
  • PoS
  • Projekt
  • MRP
All apps
Musisz się zarejestrować, aby móc wchodzić w interakcje z tą społecznością.
Wszystkie posty Osoby Odznaki
Tagi (Zobacz wszystko)
odoo accounting v14 pos v15
O tym forum
Musisz się zarejestrować, aby móc wchodzić w interakcje z tą społecznością.
Wszystkie posty Osoby Odznaki
Tagi (Zobacz wszystko)
odoo accounting v14 pos v15
O tym forum
Pomoc

high volume of data failed to generate report

Zaprenumeruj

Otrzymaj powiadomienie o aktywności w tym poście

To pytanie dostało ostrzeżenie
postgresvolumehightuning
4 Odpowiedzi
9173 Widoki
Awatar
Akhmad Daniel Sembiring

hi All,

Currently we have around 350,000 lines of account_move_line and 60,000 lines of account_move, and it;s increasing shortly. Those records belongs to a single partner.

my OpenERP system was failed just to generate "General Ledger" and "Partner Ledger" report from all those records. the browser is just displaying loading message with no end. All other simple reports with only few pages of PDF are fine.

my server has 6GB of RAM, 12 cores CPU, running CentOS 6 linux.

i have done openerp, postgresql and linux kernel tuning as follows:

Linux:

kernel.shmmax = 68719476739
kernel.shmall = 16777216
kernel.shmmni = 4096

Postgres:

shared_buffers = 4GB  
temp_buffers = 500MB
default_statistics_target = 100
maintenance_work_mem = 480MB
checkpoint_completion_target = 0.9
effective_cache_size = 6GB
work_mem = 50MB
wal_buffers = 16MB
checkpoint_segments = 64

OpenERP:

workers = 25
limit_request = 100000
osv_memory_age_limit = 1.0
limit_time_real = 240
limit_time_cpu = 600
limit_memory_hard = 6442450944
limit_memory_soft = 3221225472

but still no luck generating those reports. any help or clue will be very appreciated

thanks

1
Awatar
Odrzuć
Awatar
Jagadish
Najlepsza odpowiedź

Developer can try to get big data like more than 160000 lines in xlsx report 
Using controllers Get data (To get Data Use Query) and prepare or arrange the data using 

call controllers from python or JS 

import io
import xlsxwriter


 finally close the workbook and 
change the arranged data has like bytes 

output = io.BytesIO() 
workbook = xlsxwriter.Workbook(output, {'in_memory': True})
worksheet = workbook.add_worksheet()

workbook.close()
output.seek(0)
return output.getvalue()

and In controllers return make_response as


@http.route('/big_data_xlsx_report', type='http', auth='user', methods=['POST'], csrf=False) 
def get_report_xlsx(self, model, output_format, report_data, report_name, **kw):
uid = request.session.uid
report_obj = request.env[model].with_user(uid)
load_data = json.loads(report_data)
try:
if output_format == 'xlsx':
cell_data = report_obj.get_report_data(load_data)
report_bytes = report_obj.prepare_report(call_data)
response = request.make_response(
report_bytes,
headers=[
('Content-Type', 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'),
('Content-Disposition', content_disposition(report_name + '.xlsx'))
]
)
response.set_cookie('fileToken', 'dummy-because-api-expects-one')
return response
except Exception as e:
se = _serialize_exception(e)
error = {
'code': 200,
'message': 'Odoo Server Error',
'data': se
}
return request.make_response(html_escape(json.dumps(error)))

with fraction of seconds user can get big data in report





0
Awatar
Odrzuć
Awatar
sraps
Najlepsza odpowiedź

For high volume reporting tasks you should use Aeroo Reports and it's support for deferred tasks. Original reports are usable only with low volume data. Even if normally report would time out, if report is run as a deferred process, it would create background task. Once completed it would store the report along the task.

More over the deferred processing module + Aeroo Reports would work transparently, you can set a threshold for each report, to initiate deferred task, if not exceeded it would run Aeroo report as usual - without creating deferred task.

You can integrate other long running processes to be used as deferred tasks, like mass recalculations etc.

Ok there is one "problem" - you need to redevelop "original" reports into Aeroo.

BR Kaspar

0
Awatar
Odrzuć
Akhmad Daniel Sembiring
Autor

hi Kaspar, currently i used webkit report, do you think it's the same as RML report in performance?

Awatar
Rohit Thakral
Najlepsza odpowiedź

Hi Akhmad,

We upgraded our server and created a swap space of 8GB which allowed us to run a 700+ page long General Ledger Report.

The suggestion of Aeroo reports is good and we were thinking of converting the GL report to HTML (and not PDF). It seems it is convert to PDF which was causing problems and not fetching the data.

HTH Rohit

0
Awatar
Odrzuć
Akhmad Daniel Sembiring
Autor

Hi Rohit did you mean creating swap space of 8GB on the OS/Linux? what is the size of PDF generated in your case?

Thanks

Awatar
Akhmad Daniel Sembiring
Autor Najlepsza odpowiedź

Hi Rohit did you mean creating swap space of 8GB on the OS/Linux? what is the size of PDF generated in your case?

Thanks

0
Awatar
Odrzuć
Podoba Ci się ta dyskusja? Dołącz do niej!

Stwórz konto dzisiaj, aby cieszyć się ekskluzywnymi funkcjami i wchodzić w interakcje z naszą wspaniałą społecznością!

Zarejestruj się
Powiązane posty Odpowiedzi Widoki Czynność
high volume of data failed to generate report
postgres volume high tuning
Awatar
Awatar
1
lut 16
7269
Problems with Docker volumes Rozwiązane
postgres volume Docker
Awatar
Awatar
1
gru 21
9325
In debian package v8, can't set database name
postgres
Awatar
Awatar
Awatar
3
lut 24
6681
Killing idle postgres processes Rozwiązane
postgres
Awatar
Awatar
8
lut 21
16455
Odoo 11 is slow to backup because of multiple postgres processes
postgres
Awatar
0
lut 21
2690
Społeczność
  • Samouczki
  • Dokumentacja
  • Forum
Open Source
  • Pobierz
  • Github
  • Runbot
  • Tłumaczenia
Usługi
  • Hosting Odoo.sh
  • Wsparcie
  • Aktualizacja
  • Indywidualne rozwiązania
  • Edukacja
  • Znajdź księgowego
  • Znajdź partnera
  • Zostań partnerem
O nas
  • Nasza firma
  • Zasoby marki
  • Skontaktuj się z nami
  • Oferty pracy
  • Wydarzenia
  • Podcast
  • Blog
  • Klienci
  • Informacje prawne • Prywatność
  • Bezpieczeństwo Odoo
الْعَرَبيّة Català 简体中文 繁體中文 (台灣) Čeština Dansk Nederlands English Suomi Français Deutsch हिंदी Bahasa Indonesia Italiano 日本語 한국어 (KR) Lietuvių kalba Język polski Português (BR) română русский язык Slovenský jazyk slovenščina Español (América Latina) Español ภาษาไทย Türkçe українська Tiếng Việt

Odoo to pakiet aplikacji biznesowych typu open source, które zaspokoją wszystkie potrzeby Twojej firmy: CRM, eCommerce, księgowość, inwentaryzacja, punkt sprzedaży, zarządzanie projektami itp.

Unikalną wartością Odoo jest to, że jest jednocześnie bardzo łatwe w użyciu i w pełni zintegrowane.

Website made with

Odoo Experience on YouTube

1. Use the live chat to ask your questions.
2. The operator answers within a few minutes.

Live support on Youtube
Watch now