Vấn đề
Trong năm qua, AI coding tools được bao quanh bởi những claims táo bạo:
- "Develop nhanh gấp đôi"
- "10x developer productivity"
- "Code tự viết chính nó"
Chúng tôi quyết định test những claims này trên production code — không phải demo projects, mà là những repositories thực sự phải được maintain, review, và hiểu years sau khi code được viết.
Ba Thí nghiệm thực tế
Thí nghiệm 1: Mở rộng Production SDK
Task: Thêm AI-related functionality vào một JavaScript SDK: AI Summarize và AI Gateway
Kết quả:
- ~18 giờ với AI vs 24+ giờ không
- Gain: 30-35%
Điều tăng tốc không phải deep architectural insight. Đó là những tasks nhỏ hơn: generating scaffolding, following existing patterns, wiring pieces together nhanh hơn human type.
Thí nghiệm 2: Untangle Long-Lived Branches
Task: Merge các branches đã tách riêng từ 2021 với overlapping logic và subtle behavioral differences
Kết quả:
- ~1.5 ngày với AI vs ~1 tuần không
- Gain: nhiều lần cho tasks liên quan đến analysis và comparison của large codebases
Advantage lớn nhất ở đây không phải generate code gì — đơn giản là làm cho large amounts of existing code dễ hiểu hơn.
Thí nghiệm 3: Integrate SDK Into Product (với Cursor)
Task: Tạo complete Redux environment, connect Figma, generate layouts, integrate business logic
Kết quả:
- ~20 giờ với Cursor vs ~40 giờ không
- Gain: 2x
Nhưng thí nghiệm này cũng phơi bày một limitation quan trọng.
Hidden Problem Với AI-Generated Code
AI-generated code từ thí nghiệm 3 compiled, interface behaved correctly, basic tests passed. Nếu dừng lại ở đó, chúng tôi sẽ coi integration là complete.
Nhưng during code review, một developer nhận ra điều gì đó odd.
Code đã tìm cách dài hơn cần thiết: thay vì reuse một identifier đã tồn tại trong object, nó fetch ID, download blob, create file mới, upload lại, rồi return identifier mới.
Kết quả: Mỗi khi logic chạy, nó duplicate data, thêm network calls, và quietly increase resource usage.
Chúng tôi chỉ phát hiện điều này vì opened the code và read carefully.
Nghiên cứu từ Industry
Trong khi chạy thí nghiệm, chúng tôi đã study key industry research:
Productivity và Code Quality
GitClear's 2025 analysis tìm thấy:
- AI tools có thể tăng development speed 20-55%
- Nhưng lượng "sustainable code" — code stays in codebase without being rewritten — chỉ tăng ~10%
- Developers produce code nhanh hơn, nhưng một phần đáng kể eventually phải được revised hoặc refactored
Experienced Developers vs Hype
METR randomized controlled study (July 2025) có striking result:
- Experienced developers working on their own mature projects actually spent 19% MORE time với AI tools
- Trong khi subjectively estimating 20% speedup
Key takeaway: perceived speed và actual speed là những thứ khác nhau.
The Cost of Reviewing AI Code
Sonar's State of AI in Code report (January 2026) tìm thấy:
- 95% of developers spend significant effort checking AI-generated code
- 38% consider it harder to review than human-written code
Developers read và verify code far more slowly hơn AI generate nó — tạo ra một natural ceiling trên productivity gains.
Architectural Limitations
Ox Security's "Army of Juniors" report mô tả AI-generated code như "highly functional but systematically lacking architectural thinking."
Điều này giải thích tại sao code works nhưng accumulates hidden problems.
Technical Debt
HFS Research + Unqork (November 2025) survey 123 respondents from Global 2000 organizations:
- 84% expect AI sẽ reduce costs
- 43% admit that AI creates new technical debt
- 55% expect debt reduction, 45% expect increase
Impact on Delivery Stability
Google DORA Report 2024 tìm thấy critical correlation:
- A 25% increase in AI usage leads to a 7.2% decrease in delivery stability
- 2.1% productivity gain và 2.6% job satisfaction increase
- Nhưng với cost of 1.5% throughput decrease và 7.2% stability decrease
Tại sao Con số Thực là 25-40%
Looking across both experiments và broader research, cùng pattern keeps appearing.
AI tools rõ ràng speed up certain parts of development:
- Reducing boilerplate
- Navigating large codebases
- Scaffolding new functionality
- Accelerating path to working implementation
Nhưng những gains đó come with a counterweight. Code still needs to be understood, reviewed, và integrated into an existing system. Developers reason about code far more slowly hơn AI can generate it.
Without proper review, teams accumulate what we call "AI legacy code" — code that works but nobody on the team truly understands. Over time, it becomes easier to regenerate than to modify.
Trong high-debt environments, losses reach 30-40% of change budget và 10-20% of system operation costs.
That's why dramatic claims about "10x productivity" rarely hold up in real engineering environments. In practice, gains stabilize in the 25-40% range — meaningful enough to matter, nhưng không làm engineering judgment trở nên unnecessary.
Kết luận
AI coding tools are most useful when treated as assistants rather than replacements for engineering judgment.
Chúng excel at:
- Analyzing và comparing large volumes of code
- Reducing friction trong everyday development
- Meaningfully accelerating time-to-working-code
Nhưng simultaneously, tasks requiring deep understanding of business logic và architectural optimization often are solved by AI in suboptimal ways. The resulting code works but is redundant. The system functions correctly on the surface, nhưng hidden problems có thể form inside.
Architectural decisions, quality control, và responsibility for results must stay with the team.
Với discipline này in place, AI tools deliver a real, measurable, và sustainable productivity boost.
Son Do — BKGlobal Tech Team
