বিশ্বাস করবেন না।
যাচাই করুন।
যেকোনো প্রজেক্টে lean-ctx benchmark run চালান। বাস্তব টোকেন গণনা। বাস্তব নির্ভুলতা মেট্রিক্স। tiktoken (o200k_base) দিয়ে পরিমাপ করা হয়েছে।
পরিমাপ করা। যাচাইকৃত।
Benchmark স্থানীয়ভাবে চলে, সঠিক টোকেনাইজার দিয়ে টোকেন গণনা করে এবং গুণমানের মানদণ্ড থেকে নিচে নামা সংকুচন প্রত্যাখ্যান করে।
সঠিক টোকেন সংখ্যা
আধুনিক LLM দ্বারা ব্যবহৃত একই টোকেনাইজার দিয়ে গণনা করা হয় - কোনো অনুমান নয়, কোনো জল্পনা নয়।
tiktoken o200k_base গুণমান রক্ষক
AST সংরক্ষণ, 식별কারী এবং লাইন কাঠামো স্কোর করে। ব্যর্থ আউটপুটগুলি স্বয়ংক্রিয়ভাবে ব্লক করা হয়।
থ্রেশহোল্ড: Q ≥ ৯৫% · ρ ≥ ১৫% পুনরাবৃত্তিযোগ্য
আপনার রিপোজিটরিতে চলে। একই ইনপুট → একই সংখ্যা। CI এবং রিগ্রেশনগুলির জন্য দুর্দান্ত।
অফলাইন · ডিটারমিনিস্টিক আগে ও পরে
একই ফাইল। একই তথ্য। নাটকীয়ভাবে কম টোকেন।
৮৮% কম টোকেন
পয়েন্ট করুন। পরিমাপ করুন। যাচাই করুন।
যেকোনো ফাইল বা ডিরেক্টরিতে পয়েন্ট করুন
একটি একক ফাইল, একটি ডিরেক্টরি বা একটি গ্লোব প্যাটার্ন পাস করুন। বেঞ্চমার্ক ইঞ্জিন যা খুঁজে পায় সবকিছু প্রক্রিয়া করে।
lean-ctx benchmark run src/ সঠিক টোকেন পরিমাপ
o200k_base এনকোডিং ব্যবহার করে tiktoken ব্যবহার করে (GPT-4o, Claude এবং আধুনিক LLMs এর মতো)। কোনো অনুমান নয় - আসল টোকেন গণনা।
tiktoken o200k_base মোড অনুসারে সঞ্চয়
প্রতিটি কম্প্রেশন মোডের জন্য নির্ভুলতা স্কোর এবং সঞ্চয় শতাংশ পান। প্রতিটি ব্যবহারের ক্ষেত্রে সঠিক মোডটি বেছে নিন।
modes: 10 Benchmark কার্যক্ষেত্রে
আপনার প্রজেক্টের যেকোনো ফাইলে বেঞ্চমার্কটি চালান। আউটপুটটি প্রতিটি কম্প্রেশন মোডের জন্য সঠিক টোকেন গণনা, সঞ্চয় শতাংশ এবং গুণমান সংরক্ষণ স্কোর দেখায়।
প্রতি-ফাইল বিভাজন - প্রতিটি মোডের আগে এবং পরে টোকেন সংখ্যা
গুণমানের স্কোর - AST, identificer, এবং কোড লাইন সংরক্ষিত
একত্রিত মোট - সেরা মোডের সুপারিশ সহ ডিরেক্টরি-ব্যাপী সঞ্চয়
$ lean-ctx benchmark run src/auth.ts
◆ lean-ctx Benchmark
────────────────────────────────────────
src/auth.ts (123 lines, 3,517 tokens)
────────────────────────────────────────
Mode Tokens Saved Rate
full 3,517 0 0%
map 412 3,105 88%
signatures 252 3,265 93%
diff 187 3,330 95%
aggressive 298 3,219 92%
entropy 312 3,205 91%
────────────────────────────────────────
Quality: AST 98% | Idents 97% | Lines 96%
Encoding: tiktoken o200k_base | Time: 12ms
রিড মোডগুলি তুলনা করা হয়েছে
full 0% যে ফাইলগুলি আপনি এডিট করবেন
সবকিছু - রি-রিডের জন্য সম্পূর্ণ কন্টেন্ট ~13 টোকেন পর্যন্ত ক্যাশ করা হয়।
map 70-90% শুধুমাত্র কনটেক্সট ফাইল
কোড: deps + exports + সিগনেচার। নন-কোড: স্ট্রাকচার্ড আউটলাইন (Markdown হেডিং, JSON/YAML/TOML কী, লক সামারি)
signatures 55–93% API সারফেস এক্সপ্লোরেশন
শুধুমাত্র ফাংশন/ক্লাস/টাইপ সিগনেচার
diff 80–95% সম্পাদনার পরে
ন্যূনতম পার্শ্ববর্তী প্রেক্ষাপট সহ পরিবর্তিত লাইন
aggressive 75–90% বড় বোরপ্লেট ফাইল
স্ট্রাকচার এবং লজিক, সিনট্যাক্স স্ট্রিপড
entropy 70–83% গোলমালযুক্ত ফাইল (JSDoc, মন্তব্য)
শুধুমাত্র উচ্চ-এন্ট্রপি লাইন (Shannon + Jaccard ফিল্টারিং)
task 65–85% টাস্ক-কেন্দ্রিক রিডস (যেমন: 'fix auth bug')
টাস্ক-প্রাসঙ্গিক কোড + নলেজ গ্রাফের মাধ্যমে নির্ভরতা প্রেক্ষাপট + IB ফিল্টার
auto 70–99% ডিফল্ট - LeanCTX স্বয়ংক্রিয়ভাবে সেরা মোডটি বেছে নেয়
ফাইল অনুযায়ী মানিয়ে নেয়: ধরন, আকার বাকেট, সাম্প্রতিকতা, কাজের প্রাসঙ্গিকতা
reference 80–95% API ডকুমেন্টেশন এবং রেফারেন্স লুকআপ
পাবলিক API, টাইপস, সিগনেচার, ডকস্ট্রিং
lines:N-M 90–99% একটি নির্দিষ্ট লাইন রেঞ্জ পড়া - সার্জিক্যাল নির্ভুলতা
অনুরোধ করা সঠিক লাইনগুলি, সাথে ন্যূনতম পার্শ্ববর্তী কনটেক্সট
LeanCTX-এর ctx_smart_read ফাইল টাইপ, আকার এবং কনটেক্সটের উপর ভিত্তি করে বেয়েশিয়ান প্রেডিকশন ব্যবহার করে স্বয়ংক্রিয়ভাবে সর্বোত্তম মোডটি বেছে নেয়।
উন্নত কম্প্রেশন পাইপলাইন
মোড নির্বাচনের বাইরেও, LeanCTX একটি মাল্টি-স্টেজ অপটিমাইজেশন পাইপলাইন প্রয়োগ করে যা ফাইল টাইপ, সেশন কনটেক্সট এবং টাস্ক ইন্টেন্ট অনুযায়ী মানিয়ে নেয়:
মাল্টি-আর্মড ব্যান্ডিট এক্সপ্লোরেশন (explore বনাম exploit) ব্যবহার করে প্রতি ফাইল প্রকারের জন্য সর্বোত্তম কম্প্রেশন থ্রেশহোল্ড শেখে
Tree-sitter এর মাধ্যমে ভাষা-সচেতন প্রুনিং - API সিগনেচার বজায় রেখে ফাংশন বডি, মন্তব্য এবং বয়লারপ্লেট অপসারণ করে
ইনভার্স ডকুমেন্ট ফ্রিকোয়েন্সি ব্যবহার করে ক্রস-ফাইল ডিডুপ্লিকেশন - সেশনে ইতিমধ্যে দেখা কন্টেন্ট দূর করে
ইনফরমেশন বটleneck নীতি ব্যবহার করে টাস্ক-সচেতন ফিল্টারিং - শুধুমাত্র বর্তমান কাজের জন্য প্রাসঙ্গিক কন্টেন্ট রাখে
পুনরাবৃত্তিমূলক কাঠামো (import, log লাইন, boilerplate) সংকুচিত করে গণনা করা সারাংশে রূপান্তর করে
এই পর্যায়গুলি সংযোজিত - ক্রমানুসারে প্রয়োগ করা হয়, যা একটি ১০০০-লাইন ফাইলকে সমস্ত টাস্ক-প্রাসঙ্গিক তথ্য বজায় রেখে ৫০ টোকেনের নিচে নামিয়ে আনতে পারে। পাইপলাইনটি সম্পূর্ণ স্বয়ংক্রিয় এবং কোনো কনফিগারেশন প্রয়োজন নেই।
সংকোচন গুণমান
কোয়ালিটি থ্রেশহোল্ড (কম্পোজিট)
সংকুচিত আউটপুট শুধুমাত্র ব্যবহার করা হয় যদি কম্পোজিট কোয়ালিটি স্কোর ৯৫% বা তার উপরে থাকে।
ন্যূনতম ঘনত্ব
ন্যূনতম ১৫% সিগন্যাল ঘনত্ব (ρ) সহ কম-তথ্য আউটপুট ব্লক করে।
ওজন নির্ধারণ
কম্পোজিট = AST ৫০% + আইডেন্টিফায়ার ৩০% + লাইন ২০% - তাই কাঠামো সবচেয়ে গুরুত্বপূর্ণ।
কেন কম টোকেন = উচ্চতর সিগন্যাল ঘনত্ব
LLM-গুলির একটি নির্দিষ্ট মনোযোগ বাজেট থাকে। কনটেক্সট উইন্ডোর প্রতিটি টোকেন মনোযোগের ওজনের জন্য প্রতিযোগিতা করে। বোরপ্লেট দিয়ে উইন্ডো পূরণ করলে গুরুত্বপূর্ণ কোডের উপর কম মনোযোগ যায়।
মডেলের কাছে পৌঁছানোর আগে নয়েজ অপসারণ করার মাধ্যমে, LeanCTX প্রতিটি অনুরোধের তথ্য ঘনত্ব বাড়ায়। ফলাফল: উচ্চতর সিগন্যাল-টু-নয়েজ অনুপাত, কম কনটেক্সট লঘুকরণ এবং মডেলটি কার্যকর কনটেক্সট সীমার মধ্যে থাকে।
১০কে টোকেন ফোকাসড কনটেক্সট ২০০কে বয়লারপ্লেট আউটপারফর্ম করে। মডেলটি JSDoc কমেন্ট এবং ইমপোর্ট বয়লারপ্লেটের পরিবর্তে লজিকের উপর মনোযোগ দেয়।
কনটেক্সট নয়েজ মডেলের মনোযোগ উইন্ডোকে দুর্বল করে দেয়। এটি সরিয়ে দিলে মডেলটিকে প্রকৃত কোডের কাঠামোতে স্থির থাকতে সাহায্য করে এবং হ্যালুসিনেশনের সম্ভাবনা কমায়।
কম ইনপুট টোকেন মানে কম API খরচ এবং আপনার রেট লিমিটের মধ্যে আরও বেশি মেসেজ। আপনি যে কোটাটি পাবেন, তা প্রতিটি AI টুলের জন্য আরও দূর যাবে।
পরিমাপকৃত উপর প্রকৃত কোড
প্রতিনিধিত্বমূলক স্ন্যাপশট - আপনার সংখ্যা ফাইল এবং কোডবেস অনুযায়ী ভিন্ন হবে।
৪৫০ লাইন - ম্যাপ মোড
১২,৮৪০ → ১,৫৪১ ৮২০ লাইন - সিগনেচার মোড
১৮,২৯০ → ১,২৮০ ১,২০০ লাইন - অ্যাগ্রেসিভ মোড
৩১,৫০০ → ২,৮৩৫ ৬৮০ লাইন - এনট্রপি মোড
১৫,৪০০ → ২,৬১৮ ৩৪০ লাইন - ডিফারেন্স মোড
৮,৭৫০ → ৪৩৭ বেঞ্চমার্ক
পদ্ধতি
এই পৃষ্ঠার প্রতিটি সংখ্যা পুনরুৎপাদনযোগ্য। আমরা ঠিক কীভাবে পরিমাপ করি তা এখানে দেওয়া হলো।
Tokenizer
সমস্ত টোকেন গণনা tiktoken ব্যবহার করে এবং এতে o200k_base এনকোডিং ব্যবহৃত হয়, যা GPT-4o, Claude এবং আধুনিক LLM দ্বারা ব্যবহৃত একই টোকেনাইজার। কোনো অনুমান বা আনুমানিক হিসাব নয়।
গুণমান থ্রেশহোল্ড
কম্প্রেসড আউটপুট শুধুমাত্র তখনই ব্যবহার করা হয় যখন কম্পোজিট গুণমান স্কোর 95% এ থাকে বা তার উপরে থাকে। কম্পোজিট = AST সংরক্ষণ (৫০%) + আইডেন্টিফায়ার সংরক্ষণ (৩০%) + লাইন কভারেজ (২০%)।
স্থানীয়ভাবে পুনরুৎপাদন করুন
আপনার নিজস্ব কোডবেসে lean-ctx benchmark run src/ চালান। আউটপুটে প্রতিটি কম্প্রেশন মোডের জন্য সঠিক টোকেন গণনা, সঞ্চয় শতাংশ এবং গুণমান সংরক্ষণ স্কোর দেখানো হয়।
অস্বীকৃতি
ফাইল প্রকার, আকার, ভাষা এবং রিড মোড অনুযায়ী ফলাফল ভিন্ন হতে পারে। "৬০-৯৯%" রেঞ্জটি বাস্তব-বিশ্বের বৈচিত্র্যকে প্রতিফলিত করে: ছোট কাঠামোগত ফাইলগুলি বেশি সংকুচিত হয়, বড় অসংগঠিত ফাইলগুলি কম সংকুচিত হয়। ক্যাশে করা রি-রিডস (~১৩ টোকেন) সেরা পরিস্থিতিকে বোঝায়।
আমাদের নিজস্ব ওভারহেড, পরিমাপ করা
সেভিংস দাবি অবশ্যই LeanCTX নিজে যা ইনজেক্ট করে তা বাদ দিয়ে হতে হবে। প্রতি সেশনের স্থির ফুটপ্রিন্ট (বিজ্ঞাপিত টুল স্কিমা + MCP নির্দেশাবলী) হল ~2.1K টোকেন, যা একটি বিচ্ছিন্ন পরিবেশে পরিমাপ করা হয় যেখানে lean-ctx doctor overhead এবং CI-তে --gate দ্বারা প্রয়োগ করা হয় — এটি কেবল ছোট হতে পারে। lean-ctx gain এই ওভারহেড বাদ দিয়ে সেভিংস রিপোর্ট করে।
নির্ণয়মূলক স্ব-যাচাইকরণ
lean-ctx benchmark dual-arm --json একটি পিন করা ১৫-টার্ন এজেন্টের সেশনকে একটি স্টেটলেস আর্ম এবং দীর্ঘস্থায়ী প্রক্সি রেলের মাধ্যমে পুনরায় চালাতে পারে, উভয়কেই বাস্তব টোকেনাইজার গণনা এবং প্রকাশিত প্রতি-মডেল হারে মূল্য নির্ধারণ করে, এবং একটি BLAKE3 ডাইজেস্ট দিয়ে রানটিকে ফিংগারপ্রিন্ট করে — কারোরই সঠিক অঙ্কগুলি পুনরুৎপাদন করা সম্ভব, কোনো লাইভ মডেলের প্রয়োজন নেই।
পরিমাপ করুন আপনার বাস্তব সঞ্চয়।
LeanCTX ইনস্টল করুন এবং আপনার কোডবেসে benchmark run চালান। বাস্তব সংখ্যা, আপনার ফাইল, আপনার সঞ্চয়।
lean-ctx benchmark run src/ যেকোনো কোডবেসে কাজ করে। কোনো কনফিগারেশনের প্রয়োজন নেই। সেকেন্ডের মধ্যে ফলাফল।